아래의 github에 있는 tsv(또는 csv) 파일을 가져올 것이다. 위의 파일을 눌러서 들어와서 Raw 버튼을 누른다. "https://raw.githubusercontent.com/google-research/google-research/master/goemotions/data/train.tsv" 위의 주소를 그대로 복사하여 아래 코드에 넣는다. ParserError: Error tokenizing data. C error: Expected 2 fields in line 12, saw 4 ParserError: Error tokenizing data. C error: Expected 2 fields in line 12, saw 4 위와 같은 에러가 떠서 sep='\n'을 추가하여 해결 df=pd.r..
csv 파일을 json으로 바꿔야 하는 상황이 생겨서 변경하고자 한다. import csv import json import pandas as pd csv_file_path = '파일 경로' data = df_tweet = pd.read_csv(csv_file_path) data with open(csv_file_path, 'r', encoding='utf-8') as f: reader = csv.reader(f) next(reader) # 첫 줄 skip # 각 라인마다 딕셔너리 생성 후 리스트에 추가 data = [] for line in reader: d = { 'Topic': line[0], 'Sentiment': line[1], 'TweetId': int(line[2]), 'TweetDate':..
df 다음과 같이 data가 들어있을 때 이것 전체를 str로 보기 때문에 리스트 형태로 변환해서 사용해야 함 import ast emojif['processed_text_v2'] = emojif['processed_text_v2'].apply(ast.literal_eval) 위의 코드를 사용하면 리스트로 변환이 가능함 각 data가 " "로 둘러싸여 있지 않다면 re를 활용하여 변경이 가능 import pandas as pd import re data = {'column_name': ["[기타, 기타, 웃는얼굴, 기타, 기타, 상메달, 기타, 기타]"]} df = pd.DataFrame(data) def extract_list_from_string(input_string): return re.finda..
from torch.utils.data import DataLoader의 DataLoader로 저장된 tensor image 엣지 추출하기 import cv2 img, label = train_dataset[0] #numpy로 바꿔서 진행해야함 img = img.detach().cpu().numpy() # tensor -> numpy # [C,H,W] -> [H,W,C] img = np.transpose(img, (1, 2, 0)) #color로 나오게 수치 조정 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img = img.astype(np.uint8).copy() #엣지 추출 edge_img = cv2.Canny(img, 100, 500) #안해도 되지만 이미지가 작다..
버전 확인 import torch print(torch.__version__) GPU 연결 확인 device = 'cuda' if torch.cuda.is_available() else 'cpu' print(device)
Numpy에서는 난수를 생성하는 method들이 있음 random.rand() 0~1 사이의 랜덤 한 실수를 생성한다.(1은 포함되지 않음) rand() 안에 아무것도 안 나오면 스칼라값이 나오고 나머지는 입력한 크기에 맞게 벡터값이 나온다. import numpy as np test = np.random.rand(3,4) print(test) [[0.72298894 0.53186953 0.52394924 0.89806408] [0.56625083 0.34967767 0.75511065 0.16174391] [0.19854568 0.90354496 0.07178789 0.59389605]] randint(min, max) min, max 사이의 범위의 정수를 랜덤 하게 반환해 준다.(max는 포함되지 않..
함수 선언 함수 안에 함수를 선언하는 방법은 그냥 안에 선언해 주면 된다. def 함수이름1(): 코드 def 함수이름2(): 코드 def add_num(): a = 1 b = 2 def add(): return a+b print(add_num()) print(add()) # 에러 발생 None def add_num(): a = 1 b = 2 def add(): return a+b return add() print(add_num()) 3 add 함수는 add_num 안에 있기 때문에 직접적으로 접근하지 못하고 add_num()을 통해 접근해야 한다. 지역 변수 각 함수의 지역 변수 접근 범위는 아래와 같다. add는 add_num의 변수에 접근할 수 있지만 add_num은 add의 변수에 접근할 수 없다..
defaultdict(자료형) defaultdict은 딕셔너리를 만들 수 있는 dict의 서브클래스로 자료형을 기본값으로 dict 객체를 생성한다. 자료형에는 int, float, list, set 등 다양한 값이 들어갈 수 있음 외부함수이기 때문에 import해서 사용함 from collections import defaultdict key = ['a', 'b', 'c', 'd'] int_d = defaultdict(int) for k in key: int_d[k] print(int_d) defaultdict(, {'a': 0, 'b': 0, 'c': 0, 'd': 0}) from collections import defaultdict key = ['a', 'b', 'c', 'd'] int_d = de..
