Doitman

다양하게 크롤링 하는 방법은 아래 링크를 통해 알 수 있다. requests, get방식> requests로 기사 크롤링 하기 ☜ requests로 구글에서 사진 크롤링 하기 ☜ requests로 주식 가격 데이터 크롤링 하기 ☜ 셀레니움 selenium으로 다나와 사이트 크롤링 하기 ☜ 이글을 이해하기 위해서는 서버와 클라이언트의 개념을 알면 좋다. 서버와 클라이언트의 통신 방법 (get, post등)의 개념을 알면 좋다 HTML이 무엇인지, 그리고 HTML의 구조에 대해 알면 좋다. 크롤링 대략적인 순서도 1.사전준비 (robots.txt) 주소/robots.txt 웹페이지에 접근이 허용된 User-agent 확인 웹페이지에 접근 가능한지 여부 확인 User-agent : 유저가 사용하는 bot의 이..

오늘은 이전에 만들었던 "종목별, 일자별 크롤링 프로그램" 을 자동화 해보고자 한다. 네이버에서 종목별, 일자별 크롤링 프로그램 보러가기 ☜ (주식 자동 매매) 네이버에서 KOSPI 종목 일자별 가격 정보 크롤링 하기 (feat. beautifulsoup, dataframe) naver에서 종목별, 일자별 가격 data를 받아오는 코드를 작성해 보겠다 사실 키움증권API나 ystockquote등을 사용해서 주식시세 데이터를 불러오는 방법도 시도했었으나, 키움증권API는 데이터 제한이 justdoitman.tistory.com 일단 구현해야할 부분은 아래와 같다. 지금 가지고 있는 데이터의 가장 최근일과 업데이트 일자와의 차이를 구한다 그 차이에 해당하는 일자에 대한 가격데이터를 크롤링 한다 원본 데이터에..

naver에서 종목별, 일자별 가격 data를 받아오는 코드를 작성해 보겠다 사실 키움증권API나 ystockquote등을 사용해서 주식시세 데이터를 불러오는 방법도 시도했었으나, 키움증권API는 데이터 제한이 있어서 활용이 너무 어려웠고 + 시간이 오래걸리는 문제가 있엇고 ystockquote 같은 경우에는 실제 시세 데이터와의 차이가 있어서 naver주식 탭에서 시세데이터를 그냥 긁어와보기로 했다. 이 포스트를 통해 배울 수 있는 것들 header을 통해 "사람이 인터넷을 통해 접근하는 것처럼 접속"해서 crawling 하는 방법 Dataframe에서 행병합, 열병합 하는 방법 Dataframe으로 파일 불러오고 저장하는 방법 만약, 크롤링이 처음이라면 이 포스터를 읽기 전에 기본적인 크롤링 방법에 ..

오늘 배울 내용 1. GET방식으로 서버 접근할 때, data 입력하기 30초만에 구글 사진 크롤링 코드 import requests import urllib.request import urllib.error from urllib.error import URLError, HTTPError from bs4 import BeautifulSoup #세션만들기 s=requests.session() #서버에 접근 url = "https://www.google.co.kr/search?q=%EA%B7%80%EC%97%AC%EC%9A%B4%EB%8F%99%EB%AC%BC&tbm=isch&ved=2ahUKEwiUg7fUz-LpAhUEHKYKHZF7BloQ2-cCegQIABAA&oq=%EA%B7%80%EC%97%AC%EC..

다룰 내용 1. 사진 크롤링을 위한 기본 모듈 및 라이브러리 소개 2. 사이트 접속 및 검색어 입력 3. 원하는 데이터 추출 5. 예외 컨트롤 4. 해당 데이터 저장 오늘 배울 개념 1. "30초만에 신문기사 크롤링하기"와 동일 2. try/ except 오늘 크롤링할 사진 STEP 1 크롤링을 위한 모듈과 라이브러리를 불러온다. import requests import urllib.request import urllib.error from urllib.error import URLError, HTTPError from bs4 import BeautifulSoup request = python에서 HTTP요청을 서버로 보내고(request) 그 대답(respnse)을 객체로 받아올 수 있는 모듈 Beau..

오늘 다룰 내용 1. 크롤링을 위한 기본 모듈 및 라이브러리 소개 2. 사이트 접속하기 3. 원하는 데이터 추출하기 오늘 배울 개념 1. HTML 태그와 속성 2. 웹브라우저에서 '개발자 창' 띄우기 2. 세션(Seesion)의 의미 오늘 크롤링해볼 기사는 STEP 1 데이터 크롤링을 위해서 아래와 같이 request 모듈 BeautifulSoup 패키지 등을 불러온다. import requests from bs4 import BeautifulSoup request = python에서 HTTP요청을 서버로 보내고(request) 그 대답(respnse)을 객체로 받아올 수 있는 모듈 BeautifulSoup : HTML문서 또는 XML문서에서 특정 내용을 선택하기 위해 사용하는 python 패키지 STE..