Stack Building

고급 웹프로그래밍 수업의 첫번째 과제가 공공데이터포털의 API를 사용한 웹사이트 만들기다. 지난 학기 수업 때에도 API를 사용하기는 했지만 그때는 필요한 기능을 구현하기 위해서 썼던 거라서 라이브러리인데 코드가 짧고 공개되어 있는 경우인 줄 알았는데 그게 아닌 것 같아 API가 무엇인지 찾아보았다. 위키피디아에서는 "응용 프로그램에서 사용할 수 있도록 OS/프로그래밍 언어가 제공하는 기능을 제어할 수 있도록 만든 인터페이스"라고 한다. 쉽게 말해서 프로그램들 간의 연결고리라고 할 수 있다. 구글의 API들은 이곳에서 확인 및 사용할 수 있다. 대시보드 형태로 사용량이나 오류 발생 상황을 손쉽게 알아볼 수 있어서 편리하다.

[4]-[7] 필요한 패키지 부착[10] 크롤링을 해올 url을 지정한다.[12] 일반적으로 url은 검색어 쿼리가 부착된 형태이므로, 찾고자 하는 쿼리를 지정하여 url string을 만드는 방법도 있다. [16] url의 html을 읽어온다. [17] html의 a 태그 아래의 노드를 읽어 저장한다.[19] 이미지 태그의 패턴. (정규표현식 참고)[20] 패턴에 해당하는 노드만 필터링한다.[22]-[24] 이미지 태그의 하이퍼링크를 필터링한다.[26]-[27] 이미지가 저장될 디렉토리를 확인하고 원하는 곳과 다를 경우 워킹 디렉토리를 설정한다.[28] 두 번째 링크에 해당하는 파일을 다운로드한다.[30]-[32] 하이퍼링크 갯수만큼의 이미지를 특정 이름 형식으로 다운로드한다. 강아지 이미지 크롤링 예..

패키지 무설치 실행 (NPX)NPM 5.2.0 버전 부터는 npx라는 유용한 커맨드가 추가되어 구지 패키지를 설치하지 않고도 실행할 수 있는 방법이 생겼습니다. 방대한 NPM 라이브러리들을 설치의 부담없이 1회성으로 즉석해서 실행해볼 수 있기 때문에 최근에 많이 사용되고 있습니다.예를 들어 http-server 패키지를 프로젝트나 전역에 설치하지 않고 다음과 같이 npx 커맨드 뒤에 패키지명만 붙여서 실행해볼 수 있습니다.1 2 3 4 5 6 7 $ npx http-server npx: installed 25 in 3.28s Starting up http-server, serving ./ Available on: http://127.0.0.1:8080 http://10.212.5.70:8080 Hit C..

코딩 오류: 방향 미설정 1. Linear Layout요소를 배치할 때 한 방향으로만 배치함. 2. 방향 방향은 orientation을 조정하는데, vertical과 horizontal로 설정할 수 있음.vertical은 세로 배치, horizontal은 가로 배치를 의미.

AVD 오류 1. 기존 AVD 유지- AVD Manager 실행 후 dropdown 목록에서 Cold Boot Now 클릭 2. 영구적 해결- 새로운 AVD 만들기.

1. AI (artificial intelligence) 2. Machine Learning 3. Deep Learning - 지도학습, 비지도학습 모두 사용 가능하지만, 일반적으로 지도학습으로 분류- neuralitic하게 접근하는 방법을 일컫는다. 4. Pattern Recognition 5. DB vs. DW(Data Warehouse)- 데이터베이스: 여러 사람이 공유하여 사용할 목적으로 통합 관리하는 체계화된 데이터의 모임. * - 데이터 웨어하우스: 데이터를 스키마에 맞춰 장기간 대량으로 적재한 것. 보통 데이터베이스라고 칭함. 때로 데이터웨어하우스와 유사하지만 규모가 작을 경우 데이터마트(data mart)라는 표현을 사용하기도 함. 6. Data Mining- KDD(Knowledge di..

크롤링 특강 정리를 이제야 하기 시작한다. 코드 statistical-analysis-with-R/크롤링/실시간 검색어 크롤링.R [3] rvest 패키지가 필요하기 때문에 필요할 경우 인스톨한다.[5] 원하는 웹사이트의 url을 변수로 받는다.[6] 해당 url의 html을 읽어온다. 네이버는 utf-8로 인코딩된 사이트다.[7] 실검에 해당하는 태그가 span.ah_k라서 해당 노드를 읽어와서 텍스트화한다.이때, 해당하는 태그를 알고 싶다면 크롬의 개발자 도구를 이용하는 것이 편리[8] 1위부터 20위까지의 검색어를 인덱싱한다. 오늘의 실검 상황.

OLAP (OnLine Analytical Processing) - 온라인 분석 처리 OLAP는 사용자가 다양한 각도에서 직접 대화식으로 정보를 분석하는 과정을 말한다.OLAP 시스템은 단독으로 존재하는 정보 시스템이 아니며, 데이터 웨어하우스나 데이터 마트와 같은 시스템과 상호 연관된다. 데이터 웨어하우스가 데이터를 저장하고 관리한다면, OLAP은 데이터 웨어하우스의 데이터를 전략적인 정보로 변환시키는 역할을 한다. OLAP은 기본적인 접근과 조회·계산·시계열·복잡한 모델링까지도 가능하다. OLAP은 최근의 정보 시스템과 같이 중간매개체 없이 이용자들이 직접 컴퓨터를 이용하여 데이터에 접근하는 데 있어 필수적인 시스템이라 할 수 있다. OLTP (Online Transaction Processing) ..

이 게시글에 설명이 잘 되어 있어서 내가 알아보기 쉽게 요약했다. STATELESS STATEFUL 서버 측면에서 상태정보를 저장하지 않음 서버 측면에서 상태정보를 저장함 상태정보: 클라이언트와 서버의 연속된 동작 http는 기본적으로 STATELESS이다. 상태 정보를 사용하기 위해 세션을 사용하는 구조는 STATEFUL이다. REST 구조(자세한 설명 글)는 클라이언트의 정보를 서버에 저장하지 않는엄밀한 의미의 STATELESS에 해당한다.클라이언트가 상태정보 관리의 책임을 지며, 서버에 요청할 때마다 상태정보를 전송하여서버 부하를 감소시키고, 스케일 아웃을 가능하게 한다. STATELESS 구조는 캐싱, 부하 분산(로드밸런싱), 스케일 아웃에 용이하다.다만 매 요청 시에 상태정보를 전달하기 때문에 ..

정리자료 출처: 권동섭 교수님 강의안 기본적으로 데이터 타입은 두 가지다. 자바에서도 비슷한 이름을 썼었다. 기본형과 참조형.용어 자체는 다른 언어들에서도 많이 쓰이는 것 같다. 특수한 건 null 외에도 undefined가 있다는 것.간단하게 쓰면, null은 나중에 할당할 것을 의도하고 할당할 수 있는, 값은 있으나 의미가 없음이고undefined는 값도 할당되지 않은 것이다. 값에 의한 호출과 참조에 의한 호출의 차이는 메모리 공간의 사용에 있다.cbv의 경우에는 원본 값 변경의 가능성이 없지만, 인자를 넘겨주는 등의 수행을 할 때 메모리 공간을 할당한다.그러나 cbr의 경우에는 원본 값이 변경될 수 있지만, 메모리 공간의 낭비는 막을 수 있다. 자바스크립트에서는 { }, 다른 언어에서 해시, 맵,..