Machine Learning/이론
[ML] 오차역전파 Backpropagation
오차역전파 경사 하강법의 방법으로 손실 함수에서 가중치까지 신경망의 역방향으로 실행하면 시간이 오래 걸리고 비효율성 문제가 생긴다. 이를 해결하기 위해 오차 역전파 알고리즘(Back Propagation Algorithm)이다. 공통부분은 한 번 계산해두면 같은 뉴런에 속한 모든 가중치의 미분을 계산할 때 재사용할 수 있다. 1. 손실 함수 미분 손실 함수 전역 미분 \( \frac{\partial J}{\partial y} \)을 출력 계층 \( O \)에 전달한다. 2. 출력 뉴런 미분 공통부분 계산 활성 함수 지역 미분: \( \frac{\partial y}{\partial z^{2}} \) 활성 함수 전역 미분 : \( \frac{\partial J}{\partial y} \) 와 \( \frac..
