Doitman

다양하게 크롤링 하는 방법은 아래 링크를 통해 알 수 있다. requests, get방식> requests로 기사 크롤링 하기 ☜ requests로 구글에서 사진 크롤링 하기 ☜ requests로 주식 가격 데이터 크롤링 하기 ☜ 셀레니움 selenium으로 다나와 사이트 크롤링 하기 ☜ 이글을 이해하기 위해서는 서버와 클라이언트의 개념을 알면 좋다. 서버와 클라이언트의 통신 방법 (get, post등)의 개념을 알면 좋다 HTML이 무엇인지, 그리고 HTML의 구조에 대해 알면 좋다. 크롤링 대략적인 순서도 1.사전준비 (robots.txt) 주소/robots.txt 웹페이지에 접근이 허용된 User-agent 확인 웹페이지에 접근 가능한지 여부 확인 User-agent : 유저가 사용하는 bot의 이..

다룰 내용 1. 사진 크롤링을 위한 기본 모듈 및 라이브러리 소개 2. 사이트 접속 및 검색어 입력 3. 원하는 데이터 추출 5. 예외 컨트롤 4. 해당 데이터 저장 오늘 배울 개념 1. "30초만에 신문기사 크롤링하기"와 동일 2. try/ except 오늘 크롤링할 사진 STEP 1 크롤링을 위한 모듈과 라이브러리를 불러온다. import requests import urllib.request import urllib.error from urllib.error import URLError, HTTPError from bs4 import BeautifulSoup request = python에서 HTTP요청을 서버로 보내고(request) 그 대답(respnse)을 객체로 받아올 수 있는 모듈 Beau..

오늘 다룰 내용 1. 크롤링을 위한 기본 모듈 및 라이브러리 소개 2. 사이트 접속하기 3. 원하는 데이터 추출하기 오늘 배울 개념 1. HTML 태그와 속성 2. 웹브라우저에서 '개발자 창' 띄우기 2. 세션(Seesion)의 의미 오늘 크롤링해볼 기사는 STEP 1 데이터 크롤링을 위해서 아래와 같이 request 모듈 BeautifulSoup 패키지 등을 불러온다. import requests from bs4 import BeautifulSoup request = python에서 HTTP요청을 서버로 보내고(request) 그 대답(respnse)을 객체로 받아올 수 있는 모듈 BeautifulSoup : HTML문서 또는 XML문서에서 특정 내용을 선택하기 위해 사용하는 python 패키지 STE..