Doitman

다양하게 크롤링 하는 방법은 아래 링크를 통해 알 수 있다. requests, get방식> requests로 기사 크롤링 하기 ☜ requests로 구글에서 사진 크롤링 하기 ☜ requests로 주식 가격 데이터 크롤링 하기 ☜ 셀레니움 selenium으로 다나와 사이트 크롤링 하기 ☜ 이글을 이해하기 위해서는 서버와 클라이언트의 개념을 알면 좋다. 서버와 클라이언트의 통신 방법 (get, post등)의 개념을 알면 좋다 HTML이 무엇인지, 그리고 HTML의 구조에 대해 알면 좋다. 크롤링 대략적인 순서도 1.사전준비 (robots.txt) 주소/robots.txt 웹페이지에 접근이 허용된 User-agent 확인 웹페이지에 접근 가능한지 여부 확인 User-agent : 유저가 사용하는 bot의 이..

네이버 크롤링에 이어 KRX증권거래소 전종목 가격을 불러와보려고 한다. 그 이유는 전 종목의 코드가 들어있기도 하고, 무엇보다 "시가총액" 데이터가 들어있기 때문이다. 확인해보니 1995년 5월 부터의 데이터가 들어있었기 때문에 충분? 하다고 생각 어쨌든 주가보다는 시가총액이 종목 가치를 나타내는 더 정확한 지표이기 때문에 , KRX에서 데이터를 다운받을 수 있다면 정말 좋겠다고 생각했다. 오늘 받아올 것은 KOSPI 전종목 리스트 종목별, 일자별 시가총액 데이터 KOSPI 전종목 리스트 위 화면에서 '조회' 버튼을 누르면 'getJsonData.cmd'가 호출 되는데 이를 살펴보면 다음과 같다 코드 import requests import pandas as pd import json #주식 종목 받기 ..

오늘은 프로그래밍에서 추상화의 개념과 추상클래스, 인터페이스 등에 대해 알아보고자 한다. 우리가 '추상(abstract )'의 개념을 알기 위해서는 클래스와 상속의 개념을 꼭 알아야한다. 클래스와 상속 개념 쉽게 배우러가기 ☜ 비전공자도 이해하는 클래스(class), 객체(object) 그리고 상속의 개념 (feat. 양념치킨) 전문용어를 이해하기 위해 전문용어를 사용하는 IT전공자들의 설명만 들어왔던 당신에게 도움이 되기를 바라며. 오늘은 클래스란 무엇인지, 상속이란 무엇인지 왜 프로그래밍에서 클래스를 사 justdoitman.tistory.com 일단, 저번에 배운 클래스와 상속에 대해 복습해보면, 우리는 '치킨'을 정의함 으로써 '치킨'이라는 클래스(class)를 만들었고 치킨의 정의에 의해 실제 ..

오늘은 유니티에서 랜덤한 움직임을 나타내는 방법을 알아보려고한다. 랜덤 움직임이 사용되는 예시는 주로 아래와 같다 1. 적이나 사물들이 평소에 어슬렁 거리며 돌아다니는 것을 표현 2. 이펙트를 주기위한 화면 흔들기 랜덤 움직임을 사용하기 위해서는 아래의 기능들이 사용된다. 1. 반복하기 2. 랜덤하게 방향 설정하기 3. 해당 방향으로의 이동하기 Coroutine 이해하기 1. Cotoutine이란 Cotoutine은 일단 오브젝트이다. 그리고 그 안에서 코드를 제어할 수 있다. Cotoutine이 작동하는 원리는 아래 그림을 보면 된다. Coroutine의 역할은 IEnumerator라는 인터페이스에 담긴 내용을 "실행"하는 것이다. 여기에는 몇가지 의미가 있는데 기본적으로 스크립트의 코드가 수행되는 U..

오늘 구현할 것은 플레이어가 어떤 오브젝트에 닿으면 (Trigger 이벤트) 그 오브젝트를 플레이어 뒤쪽에 생성 플레이어의 이동방향데로 따라 붙은 오브젝트도 따라옴 Scene안에서의 Player 오브젝트 구조와 Components 설정 Player 스크립트 using System.Collections; using System.Collections.Generic; using UnityEngine; public class Player : MonoBehaviour { public Transform followerTf; public float diameter; private List followers = new List(); private List followerPos = new List(); float h; ..

오늘은 이전에 만들었던 "종목별, 일자별 크롤링 프로그램" 을 자동화 해보고자 한다. 네이버에서 종목별, 일자별 크롤링 프로그램 보러가기 ☜ (주식 자동 매매) 네이버에서 KOSPI 종목 일자별 가격 정보 크롤링 하기 (feat. beautifulsoup, dataframe) naver에서 종목별, 일자별 가격 data를 받아오는 코드를 작성해 보겠다 사실 키움증권API나 ystockquote등을 사용해서 주식시세 데이터를 불러오는 방법도 시도했었으나, 키움증권API는 데이터 제한이 justdoitman.tistory.com 일단 구현해야할 부분은 아래와 같다. 지금 가지고 있는 데이터의 가장 최근일과 업데이트 일자와의 차이를 구한다 그 차이에 해당하는 일자에 대한 가격데이터를 크롤링 한다 원본 데이터에..

2D게임에서 맵이 게임화면보다 클경우에, 화면을 플레이어 중심으로 비춰줄 필요가 있다. 배울것 Mathf.Clamp (value, min, max) : 최소값과 최대값을 넘지 않는 value를 반환 Vector3.Lerp(현위치, 목표위치, 걸리는 시간) : 목표 위치 까지 일정 시간동안 이동 (부드러운 움직임) using System.Collections; using System.Collections.Generic; using UnityEngine; public class CameraMove : MonoBehaviour { public Transform playerTf; public float speed = 3f; public Vector2 offset; public float mapWidth, map..

오늘은 Json 자료형식에 대해 알아보고자 한다. IT분야에서는 다양한 언어들이 사용되고 있다. 하지만 각 언어들은 독자적인 체계를 가지고 있어서 서로 다른 언어끼리는 소통이 어렵다. 마치 우리가 영어를 쓰는데 어려움이 있는 것처럼 하지만 이러한 언어 사이에서도 번역이 필요없는 공통된 표현 방법이 있다. 대표적인 것이 바로 "아라비아 숫자"이다. 한국도, 일본도, 미국도 그리고 전세계 어느 나라에 가도 '10'이란 숫자가 의미하는 바를 모두 이해할 수 있다. 프로그래밍 언어에서 이렇게 "아라비아 숫자"와 같이 어떤 언어에서도 공통적으로 이해 될 수 있는 자료형식이 필요했는데 그것이 바로 'json' 이다!! Json은 간단히 말해서 대부분의 언어에서 이해할 수 있는 자료형식이다. 따라서 어떤 프로젝트에서..