李宏毅《機(jī)器學(xué)習(xí)》
反向傳播ppt+總結(jié)
- 反向傳播是為了更有效率地計(jì)算梯度
- 基礎(chǔ)就是鏈?zhǔn)角髮?dǎo)規(guī)則（Chain Rule）；將梯度的計(jì)算分為Forward pass和Backward pass兩部分。
- Forward pass的結(jié)果就是神經(jīng)元的輸出（輸入層雖然是輸入，但也是輸入神經(jīng)元的輸出）；Backward pass就是從輸出層往輸入層計(jì)算的過程。
如果紅色是輸出層，那么以上公式就可以完成backward pass
Keras
標(biāo)簽：
