Doitman

Q1.강화학습의 목표는 무엇일까? => 마르코프 결정과정 주어진 환경에서 어떻게 행동해야 가장 높은 보상을 받을 수 있을지 알아내는 것 주어진 환경 = 상태가치함수 V(s), 행동가치함수 Q(s,a) 구하고자 하는 것 = 어떻게 행동 해야하는지 = 행동 정책 π* Q2. 환경을 알고 있을 때 최적의 행동정책π* 은 어떻게 구해야 하는가? => 동적계획법 환경을 알고 있을 때 = 상태가치함수 V(s)와, 행동가치함수 Q(s, a)를 알고 있을때 환경을 안다는 것은, 모든 상태 (S), 상태천이Tensor (P), 어떤 상태에서 행동에 따른 보상 (R) 을 안다는 것이다 정책평가 = 주어진 행동 정책 π에서 상태가치, 행동가치 계산 Vπ(s), Qπ(s, a) 정책평가는 [bellman 방정식] 을 통해 수..

when we found a 'problem' we need to figure out the problem is a real problem then what is real problem?? real problem is most fundamental cause real problem is something can be measure real probem is something can be solved to measure whether the problem is real I suggest to answer follow questions 1. Is it most fundamental cause? - the outcome can not be the cause - if there are more fundament..

오늘 문서를 작성하다가. '문제 상황을 개선하다' 라는 표현을 하고 싶었다. 일단 여러가지 표현들이 생각이 났다. The situation became better some of the problem has been solved The problem has been improved 그러던 중에 잘 안쓰던 단어를 하나 발견하였다. ameliorate ameliorate는 to make bad things better 이라는 의미를 내포하고 있다. 좋지 않은 상황을 더 나아지게. 영작을 해보았다. if a problem can not be measured, then you never know whether the problem has been ameliorated = if a problem can not b..

Classified market (Draft) Level explanation target objects To-do Lv0 Focusing on solving problmes of heavy and light users that participated the trading heavy user, light user, merchant in online used smart phone market solve problem of heavy & light users 1. know target's problem 2. make solutions 3. make service and products with the solutions 4. collect data about the products Lv1 Focusing on..

이전에 강화학습 이론은 우리가 환경에 대한 정보를 안다는 가정을 했었다. 환경이란, 상태의 종류 = S 행동의 종류 = A 행동을 했을 때의 보상 = R 이전에 배웠던 내용들 강화학습의 목표는 무엇일까? : 마르코프 결정 과정 최적의 행동은 어떻게 찾을까? : 동적계획법 (feat 정책반복) 저 효율적으로 최적 행동을 찾을 수는 없을까? : 비동기적 동적계획법 몬테카를로 등장 배경 동적계획법 아래에서 강화학습은 미로(환경)에 대한 정보가 주어지고 그 미로를 통과하기 위한 최적 루트를 찾는 것과 같다. 하지만, 통제된 환경이 아닌 현실세계에서 우리는 위와 같은 정보를 알수가 없다. 그래서 우리는 현재 환경에 대한 정보가 없을때에도 최적의 행동이 무엇인지 찾을 수 있어야 한다. 다시한번 강화학습의 목표와 방..

오늘 배울내용 이전에 알아야할 내용은 다음과 같다. 마르코프 결정 과정과 벨만 방정식 마르코프 결정 과정의 해를 구하는 방법 : 동적계획법 동적계획법으로 최적의 행동 정책π을 구하는 과정에서 While문을 두번 사용해야 한다 정책평가 할 때 정책반복 할 때 이것을 하나로 줄일 수 있는 방법이 있는데, 가치 반복 (VI : Value Iteration)이다. 가치반복 (VI : Value Iteration) 개념은 간단하다. 이전에는 정책평가(PE)에서 평균값에 수렴시켰다면, 가치반복에서는 가치값을 최대값으로 수렴시켰다는 점이다. 근데 여기서 한가지 문제점이 발생하게 되는데 최적값을 찾는 과정에서 원래 정책개선에 포함되어 있던 "불필요한 행동 제거"가 없어지게 되기 때문에 계속 전체 경우의 수를 모두 고려..

이전에는 마르코프 결정 과정 (MDF : Markov Decision Process)을 통해 강화학습의 문제가 결국 "행동을 선택하는 최적의 정책" π*을 찾는 것이라고 어렴풋이 알게 되었다. 마르코프과정 정리 내용☜ 하지만, π*는 정해진 해가 없기 때문에 특정 알고리즘을 통해 최적해를 찾아가야하는 문제가 남아있다. 동적계획법(DP : Dynamic Programming)은 마르코프 결정 과정에서 최적의 정책을 찾기 위한 문제풀이방법 중 하나이다, 동적계획법(DP : Dynamic Programming) => 복잡한문제를 작은문제로 쪼개서 답을 구하는 방법을 뜻한다 큼 음식을 한번에 먹는 것이 아니라, 그것을 1000조각을 내서 작은 음식을 1000번 먹으면 되는 것처럼 복잡한 문제를 한번에 해결하는 ..

이 글은 그냥 개인적으로 공부한 내용을 정리할 목적으로 작성이 되었습니다 ㅎㅎ 마르코프 결정과정 (MDP) 관련 학습 내용 마르코프 연쇄 (Markov Chain) 마르코프 보상과정 (Markov Reward Process) 마르코프 결정과정 (Markov Decision Process) 마르코프의 특성 현재 상태에는 과거의 모든 정보가 포함되어 있다. 현재 상태를 알면 과거와 무관하게 미래상태를 예측할 수 있다. 마르코프 연쇄와 상태 변이 행렬(State Transition Matrix) 특정 상태에서 다른 상태로 변이될 확률을 표현한 행렬 집 학교 학원 PC방 치킨 분식 피자 운동 만화 잠 집 0.6 0.3 0.1 학교 0.3 0.4 0.3 학원 0.1 0.2 0.2 0.5 PC방 0.2 0.8 치킨..