第5章 神經(jīng)網(wǎng)絡

在自然語言處理（NLP）、計算機視覺（CV）領域，神經(jīng)網(wǎng)絡（NN）基本已經(jīng)一統(tǒng)天下了。最新的強大網(wǎng)絡架構是Transformer。

5.1 神經(jīng)元模型

M-P神經(jīng)元是模擬生物神經(jīng)網(wǎng)絡中的神經(jīng)元而成的，也和多個神經(jīng)元有連接。其基本形式如下圖所示。M-P神經(jīng)元接受的值是乘上權重的值。所有神經(jīng)元的輸入之和再加上一個閾值就是激活函數(shù)的自變量，激活函數(shù)的因變量就是M-P神經(jīng)元的輸出。

5.2 感知機與多層網(wǎng)絡

感知機由兩層神經(jīng)元組成，即沒有隱藏層。

如果在輸出層加上一個屬性值恒為1的結點，并使閾值等于結點的權重值，則可以將權重和閾值的學習統(tǒng)一為權重的學習。

相比于感知機，多層前饋神經(jīng)網(wǎng)絡是更常見的NN。如下圖所示，多層前饋神經(jīng)網(wǎng)絡是全連接NN。它和感知機的不同在于有隱藏層，也就是在輸入層和輸出層之間還有其他的神經(jīng)網(wǎng)絡，上連隱層或輸出層，下連隱層或輸入層。

NN的學習過程，就是調整權重的過程。也就是說，NN學到的東西，就是這些權重的取值。

5.3 誤差逆?zhèn)鞑ニ惴?/strong>

也稱反向傳播算法（BP）。

一般NN的權重是需要根據(jù)訓練數(shù)據(jù)不斷調整的，BP是一種常見的訓練算法。在數(shù)學上是易于理解的。真實結果和預測結果的誤差是權重的偏差導致的，那么我們可以根據(jù)誤差對權重的導數(shù)，來指導我們權重的變化方向（加大或減?。Ｕ`差對權重的求導需要用到鏈式法則。

盡管NN現(xiàn)在的效果已經(jīng)非常棒了，但是還是有很多沒有解決的問題，相比于線性回歸等模型還是屬于黑箱。

5.5中提到的大部分NN都已經(jīng)不常見了。

5.4-5.6略。

標簽：