몰리몰랑

상황 : pandas dataframe의 용량이 커서 그런지, 데이터 가공 코드를 실행할 때마다 시간이 오래 걸림. 실제 문제 해결 방법 pandas dataframe은 default로 64bit의 데이터타입들을 활용함 (예: float64, int64) 데이터 범위에 맞춰서 줄여서 메모리 크기를 대폭 줄임 import numpy as np data['column'] = data['column'].astype(np.int32) 참고 자료 아래 범위에 맞게 적절한 데이터 타입 선정 후 타입 변경 추천 Data type Description bool_ Boolean (True or False) stored as a byte int_ Default integer type (same as C long; norm..

상황 : 파이토치 기반 추천 모델 학습 중에 Cuda out of memory 에러 발생 구글 검색 결과 여러가지 해결 방법 GPU 캐시 데이터 삭제 : torch.cuda.empth_cache() 현재 사용 중인 GPU 메모리 반환 : 터미널에서 nvidia-smi 명령어를 통해 GPU별 사용하고 있는 메모리 확인 후 현재 사용 중인 GPU 메모리 반환하기, sudo kill -9 [PID] 실제 해결 방법 터미널에서 nvidia-smi 명령어를 통해 확인 결과 현재 사용 중인 메모리가 남아 있었음 모델을 돌릴 때 허용 가능 메모리 사이즈가 작아져 Cuda out of memory 에러가 난 것으로 보여 kill을 통해 메모리를 반환하고 모델학습을 재수행한 결과 잘 돌아감

자연어처리를 항상 공부하고 싶었다. 내 분야에서 사업화할 수 있는 아이템은 자연어처리 기반의 서비스라고 생각했기 때문이다. 좋은 기회가 되어 사내 교육을 듣게 되었고 대충 맥락은 파악할 수 있게 되었다. 자연어를 분석하기 위해서는 긴 자연어를 분석을 위한 작은 단위로 나누는 작업을 수행해야 한다. 교육을 받은 후 내 것으로 만들기 위해 직접 NLTK 라이브러리를 활용하여 자연어를 분석의 단위, 토큰으로 쪼개는 과정인 "Tokenization" 과정을 수행해보려고 한다. 토큰화 (Tokenization) [1] 단어 토큰화 (Word Tokenization) - 토큰화 대상 : "Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as c..

이제 파이썬의 IDLE인 주피터노트북 설치를 완료하였으니, 데이터를 불러오려고 한다. 데이터는 데이콘의 "소설 작가 분류 AI 경진대회"의 데이터를 활용할 것이다. dacon.io/competitions/official/235670/data/ 소설 작가 분류 AI 경진대회 출처 : DACON - Data Science Competition dacon.io 1. Anaconda3 (64-bit) 폴더에 Jupyter Notebook (anaconda3) 를 실행시킨다. 2. 실행하면 cmd 창에 URL이 제공되며, 해당 URL을 웹에 복사 붙여넣기한다. 3. Jupyter Notebook이 잘 실행되면 작업할 파일들을 저장할 폴더를 신규 생성한다. 4. 신규 생성한 폴더에 불러올 데이터를 옮겨 놓는다. 5..