Processing math: 100%

'RMSProp' 태그의 글 목록 — 뚝딱이

RMSProp

Machine Learning/기법

[Optimizer] RMSProp Root Mean Sqaure Propagation

RMSProp Adagrad의 문제를 개선하기 위해 생김 Adagrad보다 최근의 gradient 값을 더 반영함, 오래된 gradient의 영향력을 줄임 수식 gt=γgt1+(1γ)(f(xt1))2 xt=xt1ηgt+ϵ.f(xt1) g : 기울기 누적 γ: 지수 이동 평균의 업데이트 계수 ϵ : 분모가 0이 되는 것을 방지하는 값 η : 학습률 γ의 값이 클수록 과거의 gradient 가 더 중요하다는 뜻 \( \ga..