큰 데이터 이용시 jupyter notebook 커널 죽는 현상 해결방안 찾아보기

이번에 데이콘에서 진행하는 대회중 데이터 용량이 무려 20GB나 되는 대회를 참여하게되었는데

예상대로 코드가 정상적으로 끝까지 실행되지않고 커널이 죽었다

 

일단 이곳을 참고하였다

https://min23th.tistory.com/11

[주피터노트북/jupyter notebook] 커널 죽는 문제 the kernel appears to have died. it will restart automatically

config.py 파일의 위치는 

셀에서

!jupyter notebook --generate-config

를 실행시키면 생성된 위치가 출력된다

 

맥기준 파인더에서 cmd+shift+g를 입력한후 config.py 위치를 복붙하면 폴더를 찾을수있다

 

폴더에 들어간후 c.NotebookApp.max_buffer_size를 검색

c.NotebookApp.max_buffer_size = 100000000000000000000000000000000000000000000000000000000000000000000000000000

로 바꿔준다

 

이렇게 하고 코드를 실행시켜봤더니 같은현상이 반복되었다

config.py파일이 모두 주석처리가 되어있었기때문에 영향을 안받는가 싶어 해당줄만 주석처리를 해제하고 다시 실행시켜보았다

 

다시 커널이 죽었다

 

주피터노트북이 아닌 vsc 주피터노트북 환경에서 다시 실행해봤다

 

또다시 커널이 죽었다

 

현재 강의장내의 맥을 사용하고있는데 gpu사용법을 몰라 디폴트값인 cpu를 사용하고있었다

혹시 그게 문제였던걸까 아니면 코랩같은 가상환경을 사용하는 다른개발환경을 고려해봐야할까?

 

코랩사용시 구글드라이브용량및 코랩 pro도 결제해야되기에 100% 코드가 실행된다는 보장이 필요했다

 

따라서 질문게시판에 질문을 올렸다

https://dacon.io/competitions/official/235977/talkboard/406840?page=1&dtype=recent

다들 어떤 개발환경 이용하시는지 궁금합니다

 

어떤 답글이 달릴지 기대가 되는 부분이다

 

코랩 프로, 코랩 프로 플러스를 추천하셨다

다행이였다 갑자기 aws같은 서비스를 이용하라 하실까봐 무서웠는데

코랩 프로는 이용해본적이 있어서 익숙했다

역시 머신러닝, 딥러닝은 로컬이 아닌 가상환경에서 돌리는게 속편한것같다

 

아직 코랩 프로 플러스는 약간 부담스러운 금액이라 코랩플러스를 이용할 생각이다