화음인식의 모든 것

*LSTM에 대한 이해

 

1. RNN의 특징

-이전 정보를 사용한다.(구름이 '하늘'에 떠있다)

-하지만 매우 이전 정보를 잊기도 한다.(나는 프랑스에서 자랐습니다. ... 나는 유창한 '프랑스어'를 합니다)

(이러한 문제를 해결하기 위해 LSTM도입, 무언가 배우려고 애쓰기보다는 오랫동안 정보를 기억하는 것이 LSTM의 기본 동작)

 

2. LSTM의 구성

-1개의 시점마다 cell을 갖고 그 안에는 4개의 layer를 갖는다.

-LSTM의 핵심은 cell state라는 것, 이것은 매 시점을 지나면서 약간의 가벼운 linear operation만 하고 지나간다.

-t-1시점에서의 output과 t시점에서의 input으로 forget(gate)값(using sigmoid)을 정해서 cell state의 forget비율을 선정한다.

-t-1시점에서의 output과 t시점에서의 input으로 input(gate)의 값(using sigmoid)과 새로운 cell후보값(using tanh)을 정한다.

-t-1시점에서의 cell state와 t시점에서의 forget(gate)의 값, input(gate)의 값, 새로운 cell후보값을 이용하여 t시점에서의 cell state를 정한다.

-t-1시점에서의 output과 t시점에서의 input으로 output(gate)의 값(using sigmoid)을 정한다.

-output(gate)의 값과 t시점에서의 cell state를 곱해서 t시점에서의 output을 결정한다.