모두를 위한 딥러닝 시즌2 - TensorFlow

lec12: NN의 꽃 RNN 이야기

sososoy 2021. 11. 17. 21:02

이전 state와 현재 x값의 연산 function은 매 단계마다 RNN에 대하여 동일하다.

 

기초가 되는 RNN: WX 식 이용

 

4가지 레이블 중 하나로 나옴.

선행하는 hidden layer가 후행 것에 영향 미침.

cost 함수 계산 후 최댓값 선택. error 발생 => softmax 처리 후 학습 시켜야 함.

 

 

 

 

RNN 입력으로 전달받는 데이터: batch size, sequence length, input demension

 

H 하나만 전달 -> sequenc = 1인 데이터.

 

 

sequence

output 변수는 전체 sequence에 대한 hidden state값을 가지고 있고, states 변수는 마지막 hidden state 값과 동일하기 때문에 output 변수의 마지막 hidden state와 동일한 값을 가지고 있다.

 

sequence가 5인 데이터 3개로 구성된 미니 배치를 RNN으로 처리.

output 변수는 미니배치를 구성하고 있는 각각의 데이터의 전체 sequence에 해당하는 hidden state를 가지고 있다.

states 변수는 미니배치를 구성하고 있는 각각의 데이터 sequence에 마지막 hidden state값을 가지고 있다.