Matrix 미분 표기법 Numerator layout 분자 중심의 행렬 미분으로 미분당하는 변수(혹는 함수)를 기준으로 결과의 형태를 표기함 y(피미분)의 형태로 미분 결과가 나옴 Denumerator layout 분모 중심의 행렬 미분으로 미분을 하는 변수(혹은 함수)를 기준으로 결과의 형태를 표기함 x(미분)의 형태로 미분 결과가 나옴 Scalar Vector 미분 Scalar를 Vector로 미분 Numerator layout Denumerator layout Denumerator layout을 T한것과 동일 \( \frac{\delta y}{\delta x}= \begin{bmatrix} \frac{\delta y}{\delta x_{1}} & \ldots &\frac{\delta y}{\del..
Matrix 표기법 행렬(Matrix) 수 또는 다항식을 직사각형 모양으로 배열한 것 $$ \begin{bmatrix}a_{11} & a_{12} & \cdot & \cdot & a_{1n} \\ a_{21} & a_{22} & \cdot & \cdot & a_{2n} \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot \\ a_{m1} & a_{m2} & \cdot & \cdot & a_{mn} \\ \end{bmatrix} $$ 벡터(Vector) 행 또는 열의 수가 1인 경우 행이 1인 경우 Row Vector \( \begin{bmatrix}a_{11} & a_{12} & \cdot & \cdot & a..
KNN(K-Nearest Neighborhood) 직관적인 머신러닝 분류(Classification) 알고리즘으로 새로 들어온 관측치 주변의 k개의 sample을 이용하여 관측치를 분류한다. 아래의 녹색점이 새로 들어온 관측치이다. k = 1일 때, 녹색점은 가장 가까운 k개의 데이터 중 파란색이 많기 때문에 Class A로 분류된다. k = 7일 때, 녹색점은 가장 가까운 k개의 데이터 중 빨간색이 많기 때문에 Class B로 분류된다. K 정하기 k는 KNN에서 중요한 파라미터로 너무 작으면 과적합이 발생하고 너무 크면 과소적합이 발생한다. 큰 K 미세한 경계 부분을 잘 분류하지 못함 과소적합이 발생함(모델이 간단해짐) 작은 K 이상치의 영향을 크게 받음 패턴이 직관적이지 않을 수 있음 과적합이 발생..
베이즈 정리 조건부 확률을 계산하는 방법 중 하나 새로운 정보를 토대로 어떠한 사건이 발생했다는 주장의 신뢰도를 갱신하는 방법 수식 \( P(B|A) \)를 쉽게 구할 수 있을 때 아래의 식을 통해 \( P(A|B) \)를 구할 수 있음 $$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $$ Day Outlook Humidity Play Tennis 1 Sunny High No 2 Sunny High No 3 Overcast High Yes 4 Rain High Yes 5 Rain Normal Yes 6 Rain Normal Yes 7 Overcast Normal No 8 Sunny High Yes 9 Sunny Normal No 10 Rain Normal Yes 11 Sunny Norma..
Likelihood(가능도함수, 우도함수) 데이터가 특정 분포로부터 만들어졌을 확률을 뜻한다. \( x = {1, 1, 1, 1} \)이라고 할 때 왼쪽의 분포를 따를 확률이 더 높고 아래와 같은 수식으로 적을 수 있다. $$ L( \theta) = p(X \mid \theta) $$ \( \theta \)의 파라미터를 가지는 분포 계산 $$ p(x_{n} \mid \theta)= \frac{1}{ \sqrt{2 \pi} \sigma }exp\{ - \frac{(x_{n}- \mu)^{2}}{2 \sigma ^{2}} \} $$ \( x_{n} \)이 \( \theta = ( \mu, \sigma) \)를 가지는 정규분포를 따를 확률 모든 데이터는 독립이기 때문에 그것을 적용하면 아래와 같은 likeli..
미분(Derivatives) 도함수라고도 하며 x가 변화할 때 y의 변화량으로 한 점의 기울기로 볼 수 있음 평균 변화율 $$ \frac{f(b)-f(a)}{b-a} $$ x가 변할 때 y의 변화량 순간변화율 $$ f'(x) = lim_{h \rightarrow 0} \frac{f(x+h)-f(x)}{h} $$ 평균 변화률의 극한값으로 한 점의 기울기 a의 접선의 기울기 직선 미분 \( f(x) = 3x \) 이라는 함수가 있을 때, \( x = 2 \), \( f(x) = 6 \) \( x = 2.001 \), \( f(x) = 6.003 \) 3만큼 변화한다고 할 수 있고 derivative = 3이 된다. $$ \frac{ \partial f(x)}{ \partial x} = \frac{ \part..
통계학 산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야 모집단 (Population) 연구자가 알고 싶어 하는 대상이 되는 모든 개체들을 모은 집합 (집단 전체) 표본 (Sample) 모집단에서 측정한 일부분의 관측값들로 연구자가 측정, 관찰한 결과들의 집합 일반적으로 시간적 공간적 제약으로 인해 모집단 전체를 분석하는 것을 불가능하여 표본을 통해 모집단의 특성을 이해함 모수 (parameter) 통계적 추론에서 연구자의 최종 목표, 모집단의 특성 통계량 (Statistic) 표본의 관측값들에 의해서 결정되는 양 대한민국 남자의 평균 키를 알아보기 위해 무작위로 대한민국 남자 100명을 선택해 그들의 키를 평균 내보았다. 모집단: 모든 대한민국..
배경 No Free Lunch Theorem 모든 상황에서 우월한 성능을 내는 알고리즘은 존재하지 않음 문제의 목적, 데이터 형태등을 종합적으로 고려하여 최적의 알고리즘을 선택할 필요가 있음 Do we Need Hundreds of Classifiers to solve Real World Classification problems? 위의 배경을 입증하는 논문으로 각 121개의 dataset에 대한 179개의 알고리즘에 rank를 매긴 것 Random Forest, SVM 계열의 모델이 상대적으로 높은 Rank를 차지함 하나의 알고리즘이 우월한 경우는 없음 그러나 일반적으로 안정적인 성능을 보이는 알고리즘은 존재함 단일 알고리즘 보다 여러 알고리즘을 결합하면 성능이 향상되는 경우가 많다. > 서로 다른 사..
