여러가지 블로그

탐험과 활용파트에서 항상 하던 행동만 하는방식을 고쳤다면 이번엔 눈앞의 보상만 따라가지않고 더 멀리보는 방법을 모델에게 알려줄수있는 방법은 없는지 배워볼차례다 이로서 모델은 눈앞의 보상만을 고려하지않고 더 멀리 바라본후 행동을 결정할수있게 되었다 자세한 Q학습갱신규칙은 다음과 같다 끄적이면서 알게되었는데 가중치(입실론)를 1로 두게되면 정상적인 학습이 이루어지지않는것같다(확실하지않음) 미래의 보상은 n단계 과거로 갈때마다 가중치**-n배만큼 약해진다 할인계수를 비롯해 대부분 파라미터(learning rate등등)에는 명확한 설정방법이 없다 시행착오를 거쳐 조율해야함 실습을 진행해보았다(DQN을 자세하게 이해하고싶어서 이책을 구매하게 되었다) 딥Q학습을 GridWorld 문제에 적용하기 GridWorld에..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 12. 13:27

탐험과 활용 투약직후 순간의 쾌락을위해 마약을 하는사람처럼 강화학습 모델을 그리디 알고리즘적으로 모델을 구성할수있다 다만 "경험적으로" 기대보상이 큰쪽으로만 움직이게되다 보니 어쩌면 기대보상이 더클수있는 다른쪽의 action을 전혀 취하지않는다 이를 위해 어느정도의 모험을 하게하는 두가지 방법이 책에 소개되어있는데 하나는 일정확률로 무작위의 action을 발생시켜 "모험"을 하게 하는방법 또다른 하나는 액션의 기대보상을 softmax를 이용해 확률화 한뒤 확률분포에 따라 무작위로 선택하게 하는방법이다 일반적으로 두번째 방법이 더 효과가 좋다고 한다! 마르고프 성질(MDP) 현재 state에서 어떤 action을할지 결정할때, 강화학습에서 이전상태보다 현재 상태가 중요시되는 성질을 마르고프 성질이라고 한다..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 12. 13:09

해당 시리즈 포스팅은 "심층 강화학습 인 액션" 책을 읽고 배운내용을 정리하는 차원에서 작성되었음을 밝힙니다 따라서 잘못된 내용이 있다면 댓글로 알려주시기 바랍니다 올바른행동을 하면 보상을 받고 잘못된 행동을 하면 음의 보상(벌)을 받는다 이과정을 반복함으로서 경험이 쌓이면 잘못된 행동을 피하고 올바른 행동을 하게 된다 뭔가 사람의 교육과도 비슷한 이것을 바로 강화"학습"이라고 한다 강화학습에는 state(현재상황), action(행동), agent(모델), reward(보상) 즉 4가지 개념이 있다 현재 상황을 입력으로 받아 모델은 action을 결정하고, 행동의 결과에 따른 보상(음의 보상일수도 있는w)을 받게됨으로 서로 밀접한 관련이 있다 Agent는 하나의 학습자 또는 학습 모형임으로 agent를..

프로그래밍/나도 이해할수있다(강화학습) 2023. 2. 11. 16:53

긴말안합니다 import plotly.express as px df = px.data.iris() fig = px.scatter_3d(df, x='sepal_length', y='sepal_width', z='petal_width', color='species') fig.show() 관련링크 https://plotly.com/python/3d-scatter-plots/ 3d Detailed examples of 3D Scatter Plots including changing color, size, log axes, and more in Python. plotly.com https://stackoverflow.com/questions/51940596/how-to-rotate-the-3d-scatter-pl..

카테고리 없음 2023. 1. 10. 11:11

처음으로 푸는 플레티넘단계의 문제이다 접근 이문제는 분할정복으로 분류되어있다 따라서 분할해서 풀수있는방법이 있는지 먼저 생각해보았다 하지만 분할정복을 이용한 마땅한 해법이 떠오르지않았고 오히려 반대로 동적개획법 개념을 이용하여 풀수있을만한 방법이 떠올랐다 동적계획법 # 히스토그램에서 가장 큰 직사각형 # 입력받기 while True: a=list(map(int,input().split())) if a==[0]: break d=[0]*100000 for i in range(1,a[0]+1): max_value=a[i] for j in range(i+1,a[0]+1): new=min(a[i:j+1])*len(a[i:j+1]) if new>max_value: max_value=new else: break d[..

프로그래밍/백준풀이 2023. 1. 8. 02:47

업무상 앱개발할일도 있을거같고 배우라고 하기도하고 나도 파이썬말고 새로운 언어를 배우고싶어서 등등의 이유로 앱개발을 위해 코틀린을 배우려했으나 자료가 너무 부족한것같아서 힘들어서 유치원수준으로 떠먹여주는 자료가 많은 그냥 자바배우기로했다 코틀린배우기 카테고리안에 JAVA배우기 글이 올라온건 이런이유다 공부방법은 책이다 파이썬도 책으로 배웠다 괜찮았다 modul 사이에 requires java.se; 를 입력하기 왜? java SE가 제공하는 모든 모듈이 필요함을 의미한다고 한다 아하 언제나 이걸 써야된다고 하면 그냥 자동화 시키면 안될까 하하 저장후 x로 닫기 헬로우 월드를 입력해보자 모듈에서 패키지?를 실행했다 와진짜 왤케 복잡한데다가 이해도 안가는걸까 허허 코드를 실행시키는방법 이클립스 기준 run ..

프로그래밍/코틀린배우기 2023. 1. 7. 15:26

문제의 첫인상 1. N번째 피보나치수를 맞추는 문제 2. 1,000,000,007은 소수다 2-1. 굳이 소수를 준것은 페르마의 소정리를 이용하라는 뜻인가? 3. N의 범위가 매우크다(0~100경)동적계획법을 쓴다면 메모리 초과가 날것같은 그정도의 크기이다 조심스러운 접근 1. 피보나치수를 다구한다음에 나머지를 구하는 방법같은경우 피보나치수가 너무 커지기때문에 불가능하다고 판단 1-1. 피보나치수는 전수와 전전수를 더해서 만들어진다 만약 전수와 전전수 모두 나머지값들이면 서로 더한뒤 다시 나머지를 구해주면된다, 하지만 이방법역시 N이 매우 큰수이기때문에 계산도중 시간초과가 날것같았다 인터넷에서 해결책을 찾아보자 이문제가 행렬곱으로 푼다는사실은 문제설명에도 나와있어서 알고있었다 기존에 알고있던 방법으로 풀..

프로그래밍/백준풀이 2022. 12. 24. 01:53

케라스를 이용한 딥러닝을 하다가 해당 에러가 발생했습니다 넘파이 버전이 문제라는 말을 들어서 다운그레이드를해봤지만 딱히 달라지는것없었습니다 해결방법)) 케라스에서는 분류 문제 일때 타겟을 one-hot인코딩해야된다는것을 발견했습니다 케라스와 파이토치를 둘다 미숙하게 알다보니 이런일이 발생한것같습니다 케라스로 진행하는 분류에 대한 예제는 이곳에 잘 설명되어있습니다 https://pinkwink.kr/1128 [Keras] 붓꽃 Iris 데이터 분류해보기 Iris classification using Keras 최근 저는 케라스를 이용해서 선형 회귀도 살짝 공부할 겸, 다변수 입력에 대한 선형회귀 문제로 혈중 지방함량이라는 데이터를 어디서 구해서 케라스를 이용한 다변수 함수에 대한 선형회귀를 pinkwink..

프로그래밍/오류와 해결 2022. 12. 20. 10:19