
Machine Learning/기법
[Optimizer] RMSProp Root Mean Sqaure Propagation
RMSProp Adagrad의 문제를 개선하기 위해 생김 Adagrad보다 최근의 gradient 값을 더 반영함, 오래된 gradient의 영향력을 줄임 수식 gt=γgt−1+(1−γ)(∇f(xt−1))2 xt=xt−1−η√gt+ϵ.∇f(xt−1) g : 기울기 누적 γ: 지수 이동 평균의 업데이트 계수 ϵ : 분모가 0이 되는 것을 방지하는 값 η : 학습률 γ의 값이 클수록 과거의 gradient 가 더 중요하다는 뜻 \( \ga..