scikit-learn에서는 matrix 계산을 위해 f1-score를 제공한다.from sklearn import metricsf1_score = metrics.f1_score(targets, pred, average='') Sklearn 문서에 의하면 각 정의는 다음과 같다. macro average - averaging the unweighted mean per label( label별 산술 평균값)모든 F1를 평균 낸 것weighted average - averaging the support-weighted mean per label (label 별 샘플 수의 비중 가중 평균값)label의 개수에 따라 가중치를 부여한 것micro average - averaging the total true po..
https://pasongsong.tistory.com/537 Association Rule 연관 규칙 Association Rule 추천 시스템에서 Baseline이 되는 것으로 어떤 사건이 얼마나 자주 함께 발생하는 지를 수치화 하는 방법이다. items 사이의 관계를 수치화 하는 방법으로 items끼리의 상호 연관관계를 pasongsong.tistory.com Association Rule을 적용하기 위해서는 각 item이 item Set에서 어떤 빈도로 출현했는지, 어떤 item과 함께 나왔는지 파악 해야 한다. Dataset의 모든 후보 itemset에 대해 하나하나 검사하는 것은 굉장히 비효율적이며 시간이 오래 걸린다. 이러한 문제를 해결하기 위해 Apriorim, FP-Growth Algor..
Association Rule 추천 시스템에서 Baseline이 되는 것으로 어떤 사건이 얼마나 자주 함께 발생하는 지를 수치화 하는 방법이다. items 사이의 관계를 수치화 하는 방법으로 items끼리의 상호 연관관계를 나타냄 \( X \Rightarrow Y \): X를 선택하였을 때 Y가 선택될 확률 "X를 사면 Y를 산다"는 규칙을 찾는 것으로 추천 시스템의 Baseline으로 사용됨 용어 조건절 Antecedent, 결과절 Consequent \( X \Rightarrow Y \): X를 선택하였을 때 Y가 선택될 확률 Antecedent(IF): X Consequent(THEN): Y Item Set 조건절(Antecedent), 결과절(Consequent)을 구성하는 상품의 집합 Assoc..
Ensemble https://pasongsong.tistory.com/317 앙상블은 조화 또는 통일을 의미하며 어떤 데이터의 값을 예측한다고 할 때, 하나의 모델이 아닌 여러 개의 모델을 조화롭게 학습시켜 모델의 예측 결과를 이용하여 강건한 예측값을 구하는 것이다. 크게 Ensemble의 기법으로 배깅(Bagging)과 부스팅(Boosting)이 있다. 배깅(Bagging) 모델을 쌓아서 각 예측값을 합산하여 최종 예측값을 예측한다. Input : 각 Ensemble 모델의 예측값 Target : 합산한 최종 예측값 Bootstrapp Aggregating의 약자로 Ensemble의 각 모델이 서로 다른 데이터셋을 이용하여 예측값을 내고 이를 종합하여 최종 예측값을 결정한다. 각 데이터셋은 복원 추출..
numpy를 활용하여 FNN을 구현해 보자! config class AttrDict(dict): def __init__(self, *args, **kwargs): super(AttrDict, self).__init__(*args, **kwargs) self.__dict__ = self config = AttrDict() config.lr= 0.001 config.bias = 0.7 config.epochs = 500 Data 클래스 0 데이터에 *10을 하여 차별점을 둠 def generate_binary_dataset(num_samples, num_features, random_state=50): np.random.seed(random_state) # 클래스 0 샘플 생성 num_samples_clas..
ELBO ELBO는 VAE의 loss에도 쓰이는 것으로 variational lower bound라고도 불린다. ELBO는 \( p(z \mid x) \) 가 다루기 힘든 분포를 이루고 있을 때 이를 다루기 쉬운 분포인 \( q(x) \)로 표현하는 과정에서 두 분포의 차이(KL Divergence)를 최소화하기 위해 사용된다. 수식 \( log_{\theta} P(x) \)는 모델의 파라미터(\( \theta \))가 주어졌을 때 x가 나올 확률이고 이 확률이 높을 수록 좋은 모델이다. 우리는 \( log_{\theta} P(x) \)를 최대화 하는 방향으로 \( \theta \)를 학습시켜야 한다. 위의 식에서 KL Divergence는 늘 0보다 크거나 같기 때문에 \( log P(x) \)는 EL..
정보 Information 통계학에서 놀랄만한 내용일수록 정보량이 많다고 이야기하고 이는 확률의 개념을 재해석한 것으로 볼 수 있다. 이는 확률이 낮은 사건일수록 거의 일어나지 않을 일이기 때문에 정보량이 높다고 이해할 수 있다. 위의 내용을 바탕으로 어떤 사건 변수 \( X \)에 대한 정보량(Info)는 다음과 같이 생각할 수 있다. $$ Info \propto \frac{1}{P(X)} $$ 정보량 구체적으로 통계에서 정보량은 다음과 같이 정의한다. $$ I(x) = -log_{b}(P(X)) $$ b = 2 : bit b = e : nit b = 10 : dit log에 \( \frac{1}{P(X) \)를 넣었기 때문에 -가 앞으로 나오고 위와 같이 정의된다. log를 사용한 이유는 확률에 반비..
인공지능 AI (Artificial Intelligence) 사람처럼 생각하고 행동하는 기계를 만드는 연구로 Computational Rationality라고도 불림 이는 인공지능이 성능평가가 최대가 되는 결과를 선택하기 때문이다. ML(Machine Learning) 컴퓨터 프로그램이 알고리즘을 사용하여 데이터 feature의 패턴을 찾는 인공지능의 세부 분야이며 경험적 데이터(Case, 사례)를 학습하여 지능적으로 동작을 할 수 있다. 지도학습, 비지도학습, 강화 학습 등 다양한 학습 유형이 있다. 지도학습(Supervised Learning) label이 주어진 데이터를 학습시키는 방법으로 회귀, 분류에 주로 사용된다. 비지도학습(Unsupervised Learning) label이 없는 데이터를 ..
