NLP
[NLP] LSTM(Long Short-Term Memory)
Background RNN은 순차적 데이터를 처리하기 위해 만들어졌지만 input의 길이가 길어지면 이전에 일어난 사건을 바탕으로 나중에 일어나는 사건을 생각하지 못한다. LSTM(Long Short-Term Memory) 파란선이 기존의 RNN이고 주황선이 Memory cell로 LSTM에서 추가된 부분이다. Memory cell은 gate에 의해서 제어되며 정보를 저장하거나 잊어버리는 용도로 사용된다. 3개의 gate로 이루어져 있음 Ct(Cell State 장기상태), ht(Hidden State) 등이 존재함 Forget gate \( C_{t-1} \)의 정보를 얼마나 잊을지에 관한 관계 sigmoid 값이 0에 가까우면 이전 상태의 정보를 잊고, 1에 가까우면 이전 상태의 정보를 기억함 Inp..
