RNN의 종류
seq2seq:day1, day2, ..., day10 주가 넣고, day2, day3, ..., day11주가 맞추기, 한국어문장 넣고 영어 문장 맞추기 등
seq2vec:영화 리뷰 문장 넣고 감정(-1 to 1)맞추기, encoder
vec2seq:이미지 넣고(혹은 CNN 결과) 문장 맞추기(image caption), decoder
encoder-decoder:seq2vec과 vec2seq 2-step모델, 단순 seq2seq보다 나은 성능을 보임, 그도 그럴 것이, 피번역 문장의 첫 단어보고 번역어 첫단어 맞추기보단, 피번역 문장 전체보고 번역어 첫 단어 맞추는게 맞아보임
RNN의 학습방식, Backpropagation Through Time(BPTT) 이해하기
https://en.wikipedia.org/wiki/Backpropagation_through_time
Backpropagation through time - Wikipedia
From Wikipedia, the free encyclopedia Jump to navigation Jump to search Technique for training recurrent neural networks "BPTT" redirects here. For the running events originally known as the Bushy Park Time Trial, see parkrun. Backpropagation through time
en.wikipedia.org
https://m.blog.naver.com/infoefficien/221210061511
Lesson 1: Recurrent Neural Network - 18. Backpropagation Through Time (part b)
BPTT를 학습하기 위하여 model를 펼쳐보겠습니다. 시간의 흐름에 따른 model 전개(unfold type)는 BP...
blog.naver.com
'ML' 카테고리의 다른 글
| Streaming or stateful metric (0) | 2020.10.06 |
|---|---|
| [ML] True positive, True negative, False positive, False negative 헷갈리지 않게 하기 (0) | 2020.10.03 |
| 시계열 데이터에서 Seasonality가 있다면 (0) | 2020.09.28 |
| categorical data를 one-hot encoding시 feature개수가 너무 많아진다면 (0) | 2020.09.28 |
| 시계열 데이터에서 data split for train, validation, test (0) | 2020.09.28 |