Machine Learning/기법

[Optimizer] AdaGrad (Adaptive Gradient)

AdaGrad 일정한 학습률을 사용하지 않고 변수마다 스텝마다 학습률을 다르게 하는 기법 시간이 지날수록 학습률이 줄어듦 큰 변화를 겪은 변수는 학습률이 대폭 작아지고 작은 변화를 겪은 변수의 학습률은 소폭으로 작아짐 feature 마다 중요도, 크기가 다르기 때문에 제안됨 수식 $$ g_{t} = g_{t-1}+ (\nabla f(x_{t-1}))^{2} $$ $$ x_{t}= x_{t-1} - \frac{ \alpha }{ \sqrt{g_{t}+ \epsilon }} . \nabla f(x_{t-1}) $$ \( g \) : 기울기 누적 크기 \( \epsilon \) : 분모가 0이 되는 것을 방지하는 작은 값 \( \alpha \) : 학습률 (Learning rate) x, y 는 \( \the..