[ML] 회귀 모델

회귀 문제

여러 독립 변수와 종속 변수의 관계를 연속 함수 형태로 분석하는 문제이다.

데이터를 관측할 때 발생하는 관측 오차 또는 실험 오차는 가우시안 분포(Gaussian Distribution)로 정의되기 때문에 회귀 문제는 가우시안 분포를 예측하는 모델로 정의할 수 있음

---

가우시안 분포(Gaussian Distribution)

$$ N = (x|\mu, \sigma^{2})=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}} $$

• x: 확률 변수
• \( \mu \): 평균
• \( \sigma^{2} \): 분산
• \( \sigma \): 표준 편차

가우시안 분포는 관측 데이터의 분포를 근사하는 데에 자주 쓰인다. 중심 극한 정리(central limit theorem)에 따라 독립적인 확률 변수들의 평균은 가우시간 분포에 가까워지는 성질이 있기 때문이다.

가우시안 분포

 

---

회귀 모델 정의

관측 데이터: \( D = \{ (x_{i}, t_{i}): i = 1, \cdots, N \} \) (N개의 \( (x_{i}, t_{i}) \) 샘플로 구성됨)

입력 데이터: \( x_{i} \)는 i.i.d를 만족함

타깃: \( t_{i} \) 모델 예측값 \( y(x_{i};\theta) \)에 관측 오차 \( \epsilon \)가 더해진 값으로 정의 됨. \( \epsilon \)은 가우시안 분포를 따름

분산 : \( \beta^{-1} \) 정밀도(Precision)의 역수로 상수로 가정함

 

분산과 정밀도는 서로 역수 관계이다. (분산이 크면 정밀하지 않음)

---

회귀 문제에서 확률 모델의 가우시안 분포 예측

$$ t_{i}=y(x_{i}; \theta)+\epsilon, \epsilon\sim N(\epsilon|0,\beta^{-1}) $$

 

회색점은 데이터의 타깃 \( t_{i} \)이다. 입력 \( x_{i} \) 마다 타깃의 가우시안 분포가 변하는 것을 확인할 수 있다.

 

따라서, 회귀 모델은 입력 \( x_{i} \)가 주어졌을 때 타깃 \( t_{i} \)의 조건부 확률 분포인 \( p(t_{i}|x_{i};\theta) \)를 예측한다.

 

$$ p(t_{i}|x_{i};\theta) = N(t_{i}|y(x_{i};\theta), \beta^{-1}) $$

---

출력 계층의 활성 함수

회귀 모델에서 가우시안 분포의 평균 예측

회귀 모델은 input 데이터를 입력받아서 집값의 가우시안 분포의 평균인 \( \mu \)를 예측한다.

회귀 모델의 경우 평균과 분산이 바뀌면 안되기 때문에 항등 함수를 활성 함수로 사용한다.

항등 함수 : \( f(x)=x \)