[Hugging face] 허깅페이스 dataset 로컬에 다운로드하기

허깅페이스에 있는 dataset을 로컬에 다운로드하는 방법

 

1. dataset install

- 깔려있지 않다면 설치한다

pip install datasets

---

2. Dataset load

from datasets import load_dataset
dataset = load_dataset(hugging face dataset)

dataset안에는 자신이 다운로드할 Datasets 명을 적으면 된다. 위의 사진에서는 tweet_eval

-  에러가 뜬다면 에러 코드에 정정된 datasets 이름이 있기 때문에 그것을 적어주면 됨

---

3. Save to disk

모델의 경우는 save()를 사용하지만 데이터셋은 save_to_disk()를 사용한다.

DATA_PATH = './' #현재 폴더 위치
dataset.save_to_disk(DATA_PATH)

---

4. Dataset 주소

homepage의 주소로 들어가 dataset을 다운로드하면 된다. 저 주소를 미리 알 수 있다면 그 주소로 바로 가면 될 거 같다,.