[Error Handling] Cuda out of memory 해결
상황 : 파이토치 기반 추천 모델 학습 중에 Cuda out of memory 에러 발생 구글 검색 결과 여러가지 해결 방법 GPU 캐시 데이터 삭제 : torch.cuda.empth_cache() 현재 사용 중인 GPU 메모리 반환 : 터미널에서 nvidia-smi 명령어를 통해 GPU별 사용하고 있는 메모리 확인 후 현재 사용 중인 GPU 메모리 반환하기, sudo kill -9 [PID] 실제 해결 방법 터미널에서 nvidia-smi 명령어를 통해 확인 결과 현재 사용 중인 메모리가 남아 있었음 모델을 돌릴 때 허용 가능 메모리 사이즈가 작아져 Cuda out of memory 에러가 난 것으로 보여 kill을 통해 메모리를 반환하고 모델학습을 재수행한 결과 잘 돌아감
Python
2021. 3. 18. 06:11
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- rustwindow
- pandas
- 배치실패
- 데이터베이스
- 데이터프레임용량
- dag실패
- task실패
- 곱창맛집
- nosql
- 데이터프레임메모리
- python
- rust스터디
- windows에서rust설치
- rust설치
- 대창
- DB
- 곱창
- pandas데이터프레임
- task실행
- 빅데이터
- 파이썬
- 사당맛집
- rust공부
- rust설치하는방법
- rust설치방법
- 맛집
- 사당역맛집
- 데이터프레임사이즈
- 막창
- windowrust
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
글 보관함