오차역전파 경사 하강법의 방법으로 손실 함수에서 가중치까지 신경망의 역방향으로 실행하면 시간이 오래 걸리고 비효율성 문제가 생긴다. 이를 해결하기 위해 오차 역전파 알고리즘(Back Propagation Algorithm)이다. 공통부분은 한 번 계산해두면 같은 뉴런에 속한 모든 가중치의 미분을 계산할 때 재사용할 수 있다. 1. 손실 함수 미분 손실 함수 전역 미분 \( \frac{\partial J}{\partial y} \)을 출력 계층 \( O \)에 전달한다. 2. 출력 뉴런 미분 공통부분 계산 활성 함수 지역 미분: \( \frac{\partial y}{\partial z^{2}} \) 활성 함수 전역 미분 : \( \frac{\partial J}{\partial y} \) 와 \( \frac..
Classification Tree Tree 조건에 따라 x가 가질 수 있는 영역을 block으로 나누는 개념 $$ \hat{p}_{mk} = \frac{1}{N_{m}} \sum{x_{i} \epsilon R_{m}I(y_{i}=k)} $$ 상대 비율 \( R_{m} \)을 정하는 법 범주형 : 범주에 따라 구성 연속형 : 영역을 임의로 나누고 영역에 따라 구성 구성된 영역에 대해 measure를 가장 좋은 값으로 만드는 변수와 기준을 선택함 영역 나눌 때 사용되는 도구 아래의 값이 작아지도록 R을 나눔 엔트로피 오분류율 R안의 샘플 중 실제값과 예측값이 다른 경우의 개수를 셈 \( \frac{1}{N_{m}} \sum_{i \epsilon R_{m}} I(y_{i} != k(m)) = 1- \hat{..
의사결정나무 Decision Tree https://pasongsong.tistory.com/136?category=1026284 [자료구조] 트리 Tree 트리 Node와 Branch를 이용해서, 사이클을 이루지 않도록 구성한 데이터 구조 이진트리 (Binary Tree 형태, 가장 많이 쓰임)로, 탐색(검색) 알고리즘 구현을 위해 많이 사용됨 용어 Node : 트리에서 데이 pasongsong.tistory.com 의미 변수들로 기준을 만들고 이것을 통하여 샘플을 분류하고 분류된 집단의 성질을 이용하여 추정하는 모형 장점 위의 표를 보면 샘플의 play tennis의 결과에 영향을 미치는 요인들을 Tree 구조를 통해 직관적으로 볼 수 있음 해석력이 높음 직관적이고 범용적임(독립변수, 종속변수가 범용..
회귀 분석 독립변수와 종속변수 사이의 함수적 관계를 구하는데 사용되는 것 선형과 비선형이 있음 단순 선형 회귀 분석 한 개의 독립변수와 한 개의 종속 변수 사이의 함수적 관계를 선형으로 분석하는 것 독립변수 Independent Variable : 독립적으로 변하는 값 (\( x \)값) 종속변수 Dependent Variable : 독립변수에 따라 변하는 값 (\( y \) 값) 다중 선형 회귀 분석 두 개 이상의 독립변수와 한 개의 종속변수 사이의 함수적 관계 선형으로 분석하는 것 다중 선형 회귀의 Loss function 다중 선형 회귀의 오류를 측정하는 함수 $$ l^{(i)}(W,b) = \frac{1}{2}( \hat{y}^{(i)}-y^{(i)})^{2} $$ $$ L(W,b) = \frac..
Norm 벡터의 크기(길이) 를 측정하는 방법이다. (두 벡터 사이의 거리를 측정하는 방법) L1 Norm $$ d_{1}(p,q) = ||p-q||_{1} $$ p = (1, -2, 3) q = (5, 6, -7) 일때, L1 Norm은 |1-5| + |-2-6| + |3 - ( - 7 )| = 22 L2 Norm $$ ||x||_{2} := \sqrt{ x^{2}_{1}+ \ldots +x^{2}_{n}} $$ 벡터의 유클리디안 거리(직선 거리) L2는 항상 초록색 결과가 나온다. Unique한 값 L1은 빨간색, 파란색, 노란색 등 특정 Feature 없이도 같은 값을 낼 수 있다. L1, L2 loss L1 loss 는 실제값과 예측값 사이의 오차의 절대값 합 L2 loss 는 실제값과 예측값 사..
Overfitting 막는 방법 1. 데이터의 양 늘리기 데이터의 양이 적은 경우 특정 패턴이나 노이즈를 쉽게 암기하게 되어 과적합 현상이 발생할 수 있음 데이터의 양을 늘려 일반적인 패턴을 학습하게 해야함 데이터의 양이 적다면 기존의 데이터를 변형하여 양을 늘리기도 함 (Data Augmentation) 2. 모델 복잡도 줄이기 복잡도는 hidden layer나 매개변수의 수 등으로 결정됨 이를 적게 하여 복잡도를 줄인다 모델 수용력 = 모델에 있는 매개변수들의 수 3. 가중치 규제 적용하기 (Regularization) https://pasongsong.tistory.com/122 모델 복잡도 줄이기와 같은 방법으로 복잡한 모델을 간단하게 만드는 것 L1 규제 가중치의 w들의 절대값 합계를 비용 함수..
수정이 있어 수식의 변수명이 맞지 않음 -> \( f(x) \) 는 \( \hat{f}(x)^{*} \) 와 같이 기댓값은 변수 위에 -로 표시함 Bias, Variance 모델에 의한 오류는 크게 Bias와 Variance로 구분된다. Bias(편향) 평균적으로 모델이 얼마나 정확하게 추정이 가능한지에 대한 측정 지표 Variance(분산) 모델 학습 시 개별 추정이 얼마나 크게 차이나는지에 대한 측정 지표 \( \hat{f}(x)^{*} \) : 입력 데이터 \( x \)에 대한 실제 정담 \( \hat{f}(x) \) : 입력 데이터 \( x \)에 대한 예측값 \( E[\hat{f}(x)] \) : \( \hat{f}(x) \)의 평균 -> 대표 예측값 Bias 모델을 통해 얻은 예측값과 실제값과..
