csv 파일을 json으로 바꿔야 하는 상황이 생겨서 변경하고자 한다. import csv import json import pandas as pd csv_file_path = '파일 경로' data = df_tweet = pd.read_csv(csv_file_path) data with open(csv_file_path, 'r', encoding='utf-8') as f: reader = csv.reader(f) next(reader) # 첫 줄 skip # 각 라인마다 딕셔너리 생성 후 리스트에 추가 data = [] for line in reader: d = { 'Topic': line[0], 'Sentiment': line[1], 'TweetId': int(line[2]), 'TweetDate':..
버전 확인 import torch print(torch.__version__) GPU 연결 확인 device = 'cuda' if torch.cuda.is_available() else 'cpu' print(device)
Numpy에서는 난수를 생성하는 method들이 있음 random.rand() 0~1 사이의 랜덤 한 실수를 생성한다.(1은 포함되지 않음) rand() 안에 아무것도 안 나오면 스칼라값이 나오고 나머지는 입력한 크기에 맞게 벡터값이 나온다. import numpy as np test = np.random.rand(3,4) print(test) [[0.72298894 0.53186953 0.52394924 0.89806408] [0.56625083 0.34967767 0.75511065 0.16174391] [0.19854568 0.90354496 0.07178789 0.59389605]] randint(min, max) min, max 사이의 범위의 정수를 랜덤 하게 반환해 준다.(max는 포함되지 않..
데이터 받기 dataset을 datasets으로 받아준다. train_dataset = datasets.MNIST(config.data_path, train=True, download=True, transform=config.augmentation ) 그러고 data Loader에 넣어주면 다음과 같이 data정보가 나온다. 60000장의 데이터를 500장으로 줄이는 작업을 할 것이다. 데이터 나누기 먼저 dataloader를 list로 만들어준다. 이렇게 하면 슬라이스 작업을 할 수 있다. a=list(train_loader) (20, 1, 64, 64) (2,) 3000 a는 64x64x1 이미지가 20(batch) 개 있고 그것에 대한 label 값을 합쳐서 3000개의 세트를 가지고 있음 trai..
randperm(int) 입력된 숫자를 임의로 섞어주는 함수 torch.randperm(10) tensor([9, 8, 2, 1, 3, 4, 5, 6, 7, 0]) Tensor 행 섞기 tensor의 행이 랜덤으로 섞이는 코드 a = torch.rand(3,3) a = a[torch.randperm(a.size()[0])] tensor([[0.5326, 0.3624, 0.3423], [0.9065, 0.8168, 0.5219], [0.9516, 0.3635, 0.8481]]) tensor([[0.9065, 0.8168, 0.5219], [0.9516, 0.3635, 0.8481], [0.5326, 0.3624, 0.3423]]) Tensor 열 섞기 a = torch.rand(3,3) a = a[:,to..
'+' 연산자 list list에서는 '+' 연산자를 쓰면 list가 합쳐진다. x = [1,2] x2 = [3,4] x+x2 [1, 2, 3, 4] Tensor tensor는 합쳐지지 않고 각 원소마다 더해진다. 이는 같은 차원끼리 더하거나 한 차원이 1일 때만 가능함 x = torch.randint(0, 10,(3,1)) x2 = torch.randint(0, 10,(3,1)) x3 = torch.randint(0, 10,(1,1)) x, x2, x+x2, x+x3 tensor([[4], [2], [1]]) tensor([[2], [1], [2]]) tensor([[6], [3], [3]]) tensor([[5], [3], [2]]) x = torch.randint(0, 10,(3,1)) x2 = t..
Pythorch를 모듈을 사용하여 tensor 객체 만드는 방법 tensor numpy의 array와 같지만 GPU 계산에서 사용됨 설정 행렬 사용자가 원하는 값을 넣어 행렬을 만듦 Zeros(size) 0이 들어있는 행렬을 return 함 x = torch.zeros(5, 3) x tensor([[0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.]]) x = torch.zeros(2, 5, dtype=torch.bool) x tensor([[False, False, False, False, False], [False, False, False, False, False]]) Ones(size) 1이 들어있는 행렬을 returng 함 x = torch.ones(3,2) x tensor..
https://codetorial.net/numpy/random.html Matplotlib와 함께 정리가 잘된 사이트 NumPy 난수 생성 (Random 모듈) - Codetorial 예제1 - 기본 사용 import numpy as np a = np.random.randn(5) print(a) b = np.random.randn(2, 3) print(b) sigma, mu = 1.5, 2.0 c = sigma * np.random.randn(5) + mu print(c) [ 0.06704336 -0.48813686 0.4275107 -0.9015714 -1.30597604] [[ 0.87354043 0.03783 codetorial.net Random 서브 모듈 Random 모듈에 있는 다양한 함수를..
