[ML] 신경망 학습, 학습 최적화

신경망 학습

신경망을 학습 한다는 것은 어떤 의미인가?

모델에게 data와 label은 주지만 추론을 위한 정보는 제공하지 않는다.

 

그렇기에 신경망은 추론을 위한 규칙을 데이터를 이용하여 스스로 찾아낸다. 

 

신경망이 학습을 한다는 것은 규칙을 찾는 과정을 말한다.

---

규칙 생성

규칙은 어떻게 찾을 수 있는 것일까?

신경망에 입력 데이터가 들어왔을 때 어떤 출력 데이터를 만들어야 할지를 정하는 규칙은 함수적 매핑 관계로 표현된다.

 

함수적 매핑 관계

신경망에서 함수적 매핑 관계는 어떤 형태로 존재하는 것일까?

 

가중 합산과 활성 함수가 연결되어 뉴런을 구성하고, 뉴런이 모여 계층을 구성하며, 계층이 쌓여서 신경망의 계층 구조가 정의된다.

 

이처럼 신경망의 요소들이 이루는 복잡한 신경망의 계층 구조 자체가 신경망의 함수적 매핑 관계를 표현하는 것이다.

---

신경망의 학습 과정에서 함수정 매핑 관계를 표현하는 전체 계층 구조를 찾아야 하는 것은 아니다. 신경망의 구조와 관련된 것들은 학습 전에 미리 정해두고, 학습 과정에서는 Model Parameter를 찾는다.

 

생체 신경망에서 뉴런의 형태는 정해져 있지만 학습을 통해 뉴런의 연결 강도가 달라지듯, 인공 신경망도 뉴런의 형태를 미리 정하고 뉴런의 연결 강도를 학습을 통해 조절한다.

 

모델 파라미터의 대부분을 차지하는 뉴런의 가중치와 편향

 

신경망의 학습이 Model Parameter를 찾는 것이고 이는 최적화(Optimization) 기법을 사용하여 찾는다.

---

신경망 학습 최적화

유한한 방정식으로 정확한 해를 구할 수 없을 때 근사적으로 해를 구하는 방법이다.

다양한 제약 조건을 만족하면서 목적 함수를 최대화하거나 최소화하는 해를 반복하여 조금씩 접근하는 방식을 사용한다.

---

\( \underset{x\in D}{min} \)      \( f(x) \)

\( g_{i}(x)\leq 0, \)      \( i=1,\cdots,m \)

\( h_{j}(x) = 0 \)      \( j=1,\cdots,r \)

 

최적화 문제는 목적 함수 \( f(x) \)와 여러 제약 조건으로 이루어진다.

 

제약 조건은 부등식 형태와, 등식 형태로 구분된다.

즉, 표준 최적화 문제는 변수 \( x \)에 대한 등식과 부등식으로 표현되는 여러 제약 조건을 만족하면서 목적 함수인 \( f(x) \)를 최소화하는 \( x \)의 값을 찾는 문제이다.

 

최적화를 통해 찾은 \( x \)값을 최적해 라고 하며, 최적해에 가까워져 가는 상태를 수렴한다고 하며 최적해를 찾으면 수렴했다라고 표현한다.

---

최소화 , 최대화 문제

최적화 문제는 최소화 문제, 최대화 문제로 나눌 수 있으며 이는 문제를 잘 표현할 수 있는 방식으로 선택하면 된다.

 

최소화 문제에서의 목적 함수는 비용 함수(Cost Function), 손실 함수(Loss Function)이라고 불린다.

최대화 문제에서의 목적 함수는 유틸리티 함수(Utility Function)이라고 불린다.