Machine Learning/기법
[Optimizer] RMSProp Root Mean Sqaure Propagation
RMSProp Adagrad의 문제를 개선하기 위해 생김 Adagrad보다 최근의 gradient 값을 더 반영함, 오래된 gradient의 영향력을 줄임 수식 $$ g_{t} = \gamma g_{t-1} + (1- \gamma )( \nabla f(x_{t-1}))^{2} $$ $$ x_{t} = x_{t-1} - \frac{ \eta }{ \sqrt{g_{t}+ \epsilon } } . \nabla f(x_{t-1}) $$ \( g \) : 기울기 누적 \( \gamma \): 지수 이동 평균의 업데이트 계수 \( \epsilon \) : 분모가 0이 되는 것을 방지하는 값 \( \eta \) : 학습률 \( \gamma \)의 값이 클수록 과거의 gradient 가 더 중요하다는 뜻 \( \ga..
