전체 글
IT 공부 일지
ERROR
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 76.00 MiB. GPU 0 has a total capacty of 23.69 GiB of which 19.56 MiB is free. Process 29502 has 23.65 GiB memory in use. Of the allocated memory 21.81 GiB is allocated by PyTorch, and 48..
한 번에 처리해야하는 메모리가 커서 발생하는 에러로 batch size를 줄이거나 캐시를 지워주면 된다. import torch, gc gc.collect() torch.cuda.empty_cache() batch_size = 1000 -> 64
ERROR
FileNotFoundError: [Errno 2] No such file or directory: './data/train/63696.jpeg
아래와 같은 에러가 발생하여 data가 잘 있는지 확인했다. - FileNotFoundError: [Errno 2] No such file or directory: './data/train/63696.jpeg' 잘 들어있어서 뭐가 문제인가 했더니 경로가 다르게 설정되어 있었다. extrac_dir 경로를 설정해서 신경을 안썼더니 이런 일이 발생했다. 압축 해제 파일명과 파일 위치 명 변수를 따로 만들어서 dataload를 만들어야겠다. (extrac_dir = ./data/로 설정하는 것이 깔끔하겠지만 연습 코드이기 때문에 나중에 수정함) - .png, PNG 등 확장자가 다를 수 있으니 확인해보는 것도 좋을 듯 하다.
기타/etc
크롬 chrome 북마크 정리하기
크롬 확장 프로그램을 사용하여 북마크를 정리할 거다. 퍼즐 모양 > 확장 프로그램 관리 북마크 사이드바를 받아준다 사이드 바 위치를 정할 수 있는데 나는 웹사이트 상단으로 했다.(더 편해 보임) 왼쪽에 마우스를 가져다 대면 북마크 표시가 뜬다. 그것을 어떻게 조작하였을 때 북마크를 보이게 할 것인가를 정하는 것 왼쪽 클릭이 제일 편해 보여서 난 왼쪽 클릭으로 했다. 장점 : 북마크 보기 편해짐 북마크 편집 가능함 단점 : 듀얼 모니터 에임 맞추기 힘듦 새 탭에서는 안됨
기타/Docker
도커 이해하기 - 도커 기초
도커 구조 Container를 다룰 수 있게 도와주는 도구로 OS안에 container를 생성하여 이전에 저장한 image를 그대로 가져다가 쓰는 것이다. 장비 이동 시 환경 설정을 할 필요가 없음 기본적으로 Linux환경에서 이용이 가능하다 그렇다고 해서 윈도와 Max OS에서 못쓰는 건 아니다. 가상환경을 두어 실행하면 된다. Image 도커에서 image란 세팅 환경이 정의 되어 있는 파일이라고 생각하면 된다. Image를 RUN 하면 Container가 생성된다. Image는 도장 Container는 도장에서 문양을 찍어내는것과 비슷하다. https://hub.docker.com/ Docker Hub Container Image Library | App Containerization Build a..
기타/etc
Kaggle API로 데이터 다운로드 받고 압축 풀기
Kaggle 로그인해서 API받기 https://www.kaggle.com/ Kaggle: Your Machine Learning and Data Science Community Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals. www.kaggle.com API 갱신하면 이전에 쓰던건 못씀! kaggle api 정보가 들어있는 json의 위치를 이동시킨다. $ mkdir -p ~/.kaggle && mv kaggle.json ~/.kaggle/kaggle.json 다운 받고 싶은 kaggle 홈페이지에 들어가 API를 C..
기타/Docker
우분투 도커 관련 명령어 모음집(계속 UPDATE 예정)
container 접속 docker exec -it (container ID OR NAME) /bin/bash