李宏毅手撕LSTM
RNN
首先是計(jì)算的細(xì)節(jié) 這個(gè)很清晰
這個(gè)圖展示了應(yīng)用上的
deep RNN
ELman Network & Jordan Network
Jordan Network 多了一個(gè)y值 可能更準(zhǔn)確
也可以是雙向的 同時(shí)train正向的 和 逆向的
Bidirectional RNN
LSTM Long Short-term Memory
現(xiàn)在比較常用
首先是一個(gè)input gate關(guān)起來的話就無法寫入，機(jī)器可以自己學(xué)習(xí)的；output gate決定能不能從memory cell 中輸出，也是可以學(xué)習(xí)；最后一個(gè)forget gate 決定什么時(shí)候forget掉存在memory cell的東西。
看圖 很清晰
gate 那里用sigmoid 0到1之間可以更好地表示打開和關(guān)閉的程度
f(Zi)就是控制z可不可以輸入的關(guān)卡
f(Zf)就是控制保不保存之前的記憶C
?
26:05
?就是forget打開（1）代表保留，關(guān)閉代表遺忘，這個(gè)名字很怪
具體見下圖
舉例
演示
?
34:30
?
其實(shí)就是乘上不同的w去操縱 4個(gè)input 參數(shù)量是4倍
多層
標(biāo)簽：
