여러가지 블로그

탐험과 활용파트에서 항상 하던 행동만 하는방식을 고쳤다면 이번엔 눈앞의 보상만 따라가지않고 더 멀리보는 방법을 모델에게 알려줄수있는 방법은 없는지 배워볼차례다 이로서 모델은 눈앞의 보상만을 고려하지않고 더 멀리 바라본후 행동을 결정할수있게 되었다 자세한 Q학습갱신규칙은 다음과 같다 끄적이면서 알게되었는데 가중치(입실론)를 1로 두게되면 정상적인 학습이 이루어지지않는것같다(확실하지않음) 미래의 보상은 n단계 과거로 갈때마다 가중치**-n배만큼 약해진다 할인계수를 비롯해 대부분 파라미터(learning rate등등)에는 명확한 설정방법이 없다 시행착오를 거쳐 조율해야함 실습을 진행해보았다(DQN을 자세하게 이해하고싶어서 이책을 구매하게 되었다) 딥Q학습을 GridWorld 문제에 적용하기 GridWorld에..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 12. 13:27

탐험과 활용 투약직후 순간의 쾌락을위해 마약을 하는사람처럼 강화학습 모델을 그리디 알고리즘적으로 모델을 구성할수있다 다만 "경험적으로" 기대보상이 큰쪽으로만 움직이게되다 보니 어쩌면 기대보상이 더클수있는 다른쪽의 action을 전혀 취하지않는다 이를 위해 어느정도의 모험을 하게하는 두가지 방법이 책에 소개되어있는데 하나는 일정확률로 무작위의 action을 발생시켜 "모험"을 하게 하는방법 또다른 하나는 액션의 기대보상을 softmax를 이용해 확률화 한뒤 확률분포에 따라 무작위로 선택하게 하는방법이다 일반적으로 두번째 방법이 더 효과가 좋다고 한다! 마르고프 성질(MDP) 현재 state에서 어떤 action을할지 결정할때, 강화학습에서 이전상태보다 현재 상태가 중요시되는 성질을 마르고프 성질이라고 한다..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 12. 13:09

해당 시리즈 포스팅은 "심층 강화학습 인 액션" 책을 읽고 배운내용을 정리하는 차원에서 작성되었음을 밝힙니다 따라서 잘못된 내용이 있다면 댓글로 알려주시기 바랍니다 올바른행동을 하면 보상을 받고 잘못된 행동을 하면 음의 보상(벌)을 받는다 이과정을 반복함으로서 경험이 쌓이면 잘못된 행동을 피하고 올바른 행동을 하게 된다 뭔가 사람의 교육과도 비슷한 이것을 바로 강화"학습"이라고 한다 강화학습에는 state(현재상황), action(행동), agent(모델), reward(보상) 즉 4가지 개념이 있다 현재 상황을 입력으로 받아 모델은 action을 결정하고, 행동의 결과에 따른 보상(음의 보상일수도 있는w)을 받게됨으로 서로 밀접한 관련이 있다 Agent는 하나의 학습자 또는 학습 모형임으로 agent를..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 11. 16:53