Doitman

다양하게 크롤링 하는 방법은 아래 링크를 통해 알 수 있다. requests, get방식> requests로 기사 크롤링 하기 ☜ requests로 구글에서 사진 크롤링 하기 ☜ requests로 주식 가격 데이터 크롤링 하기 ☜ 셀레니움 selenium으로 다나와 사이트 크롤링 하기 ☜ 이글을 이해하기 위해서는 서버와 클라이언트의 개념을 알면 좋다. 서버와 클라이언트의 통신 방법 (get, post등)의 개념을 알면 좋다 HTML이 무엇인지, 그리고 HTML의 구조에 대해 알면 좋다. 크롤링 대략적인 순서도 1.사전준비 (robots.txt) 주소/robots.txt 웹페이지에 접근이 허용된 User-agent 확인 웹페이지에 접근 가능한지 여부 확인 User-agent : 유저가 사용하는 bot의 이..

오늘은 이전에 만들었던 "종목별, 일자별 크롤링 프로그램" 을 자동화 해보고자 한다. 네이버에서 종목별, 일자별 크롤링 프로그램 보러가기 ☜ (주식 자동 매매) 네이버에서 KOSPI 종목 일자별 가격 정보 크롤링 하기 (feat. beautifulsoup, dataframe) naver에서 종목별, 일자별 가격 data를 받아오는 코드를 작성해 보겠다 사실 키움증권API나 ystockquote등을 사용해서 주식시세 데이터를 불러오는 방법도 시도했었으나, 키움증권API는 데이터 제한이 justdoitman.tistory.com 일단 구현해야할 부분은 아래와 같다. 지금 가지고 있는 데이터의 가장 최근일과 업데이트 일자와의 차이를 구한다 그 차이에 해당하는 일자에 대한 가격데이터를 크롤링 한다 원본 데이터에..

오늘은 Json 자료형식에 대해 알아보고자 한다. IT분야에서는 다양한 언어들이 사용되고 있다. 하지만 각 언어들은 독자적인 체계를 가지고 있어서 서로 다른 언어끼리는 소통이 어렵다. 마치 우리가 영어를 쓰는데 어려움이 있는 것처럼 하지만 이러한 언어 사이에서도 번역이 필요없는 공통된 표현 방법이 있다. 대표적인 것이 바로 "아라비아 숫자"이다. 한국도, 일본도, 미국도 그리고 전세계 어느 나라에 가도 '10'이란 숫자가 의미하는 바를 모두 이해할 수 있다. 프로그래밍 언어에서 이렇게 "아라비아 숫자"와 같이 어떤 언어에서도 공통적으로 이해 될 수 있는 자료형식이 필요했는데 그것이 바로 'json' 이다!! Json은 간단히 말해서 대부분의 언어에서 이해할 수 있는 자료형식이다. 따라서 어떤 프로젝트에서..

naver에서 종목별, 일자별 가격 data를 받아오는 코드를 작성해 보겠다 사실 키움증권API나 ystockquote등을 사용해서 주식시세 데이터를 불러오는 방법도 시도했었으나, 키움증권API는 데이터 제한이 있어서 활용이 너무 어려웠고 + 시간이 오래걸리는 문제가 있엇고 ystockquote 같은 경우에는 실제 시세 데이터와의 차이가 있어서 naver주식 탭에서 시세데이터를 그냥 긁어와보기로 했다. 이 포스트를 통해 배울 수 있는 것들 header을 통해 "사람이 인터넷을 통해 접근하는 것처럼 접속"해서 crawling 하는 방법 Dataframe에서 행병합, 열병합 하는 방법 Dataframe으로 파일 불러오고 저장하는 방법 만약, 크롤링이 처음이라면 이 포스터를 읽기 전에 기본적인 크롤링 방법에 ..

전문용어를 이해하기 위해 전문용어를 사용하는 IT전공자들의 설명만 들어왔던 당신에게 도움이 되기를 바라며. 오늘은 클래스란 무엇인지, 상속이란 무엇인지 왜 프로그래밍에서 클래스를 사용하는 것인지 알아보겠다. 오늘 배울내용 클래스의 개념이 무엇인지 이해한다. 객체의 개념이 무엇인지 이해한다. 클래스의 상속에 대해 이해한다. 아래 것을 미리 알고있다면 더더욱 좋을지도?? 선행적으로 알면 좋은 것 링크 객체지향의 개념 객체지향개념 알아보러 가기 ☜ 클래스(class)란? 클래스란 간단하게 어떤 대상을 정의하기 위한 정보의 집합체 인데, 예시를 통해 이해하면 더 좋을 것 같다. "태초에 치킨이 있었다." 뜬금 없지만 :) 당신은 이제 치킨의신 "치느님"이 되었다. '치킨'이 존재하지 않는 암울한 시기... 당신..

세상이 변한다고 한다. 하지만, 세상이 어떻게 변하고 있는지 어디로 변하고 있는지 그것을 알고 싶다. 클라우드, Cloud 하는데 정작 그게 무엇인지 알려주는 사람은 없었다. 그리고... 대부분 Cloud Computing의 의미를 잘못 해석해서 올려놓은 블로그도 많이 있는 것 같았다. 그래서 알아 보았다. 오늘 알아볼 내용 클라우드의 기본 개념 웹하드와 클라우드의 차이점 알고 있으면 도움이 되는 개념 시스템 자원의 의미(Computing Resource 또는 System Resource) 클라우드(Cloud Computing)이란 무엇일까? 자료 출처 : https://azure.microsoft.com/en-in/overview/what-is-cloud-computing/ What is cloud c..

우선 더 많은 기능과 자세한 설명을 위해서는 개발자 Document을 살펴보기 바란다. 오늘 작업한 내용 investpy라이브러리를 활용하여 investing.com 데이터 접근 원하는 정보를 pandas를 활용한 DataFrame 형식으로 합산 해장 Data를 CSV파일로 저장 작업시 발생한 이슈 인터넷이 연결되지 않을때 라이브러리 설치하는 방법 코드 실행시 오류발생하면 끝까지 코드진행이 안될 경우 예외처리하는 방법 사용할 라이브러리 import investpy import pandas from datetime import datetime Investpy = investing.com 에서 data를 불러오기 위해 사용할 라이브러리 pandas = DataFrame 형식을 지원하고, 가공하는데 필요한 라..

오늘 배울 것 1. 해쉬테이블 이란? 2. 해쉬테이블 관련 용어(구조) 3. 해쉬테이블의 장단점 4. 해쉬테이블 충돌을 해결하기 위한 방법 - Chaining 알고리즘 - 해쉬테이블 = key값과 1:1로 연결된 value data를 저장하는 데이터 구조 = key를 통해 데이터를 받아올 수 있기 때문에, 검색 속도가 획기적으로 빨라짐 해쉬테이블 관련 용어(구조) 1. key = 고유한 값으로 해시함수의 input value이다. 다양한 길이를 가질 수 있음 2. 해시함수(Hash Function) = key를 hash로 변환하는 역할. 서로 다른 key가 동일한 hash를 가지지 않는 것이 중요 3. 해시값(Hash value) = 해시함수의 결과물, 고정된 길이를 지니게됨 해쉬테이블의 장단점 장점 데..