草履蟲(chóng)都能看懂!這絕對(duì)是我在B站看過(guò)最全最詳細(xì)的【神經(jīng)網(wǎng)絡(luò)算法】教程,純干貨無(wú)廢


當(dāng)我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)時(shí),我們希望神經(jīng)元能夠?qū)W習(xí)到輸入數(shù)據(jù)的模式和特征。偏置b在這個(gè)過(guò)程中起到了重要的作用。
假設(shè)我們正在訓(xùn)練一個(gè)用于圖像分類(lèi)的神經(jīng)網(wǎng)絡(luò)。每個(gè)輸入圖像都表示為一個(gè)向量,其中每個(gè)元素表示像素的強(qiáng)度。我們希望神經(jīng)元能夠根據(jù)這些像素值來(lái)判斷圖像的類(lèi)別。
每個(gè)神經(jīng)元都有一個(gè)權(quán)重向量w,表示它對(duì)輸入的敏感程度。神經(jīng)元的輸出可以通過(guò)計(jì)算輸入向量x與權(quán)重向量w的點(diǎn)積來(lái)得到:
z = w·x
然后,我們將這個(gè)輸出z傳遞給一個(gè)激活函數(shù)f(z),以產(chǎn)生神經(jīng)元的最終輸出值a:
a = f(z)
在這個(gè)過(guò)程中,偏置b的作用是調(diào)整神經(jīng)元的激活閾值。偏置b與權(quán)重向量w的作用類(lèi)似,都會(huì)對(duì)輸入的影響進(jìn)行加權(quán)和求和。但是,偏置b不依賴(lài)于輸入的具體值,它只是一個(gè)常數(shù)。
偏置b的引入使得神經(jīng)元具有一定的靈活性和非線性。如果沒(méi)有偏置b,神經(jīng)元的激活函數(shù)將只是一個(gè)線性函數(shù),無(wú)法處理復(fù)雜的非線性關(guān)系。通過(guò)調(diào)整偏置b的值,我們可以改變神經(jīng)元的激活函數(shù)的位置和形狀,從而使其能夠更好地適應(yīng)不同的輸入模式。
舉個(gè)簡(jiǎn)單的例子,假設(shè)我們正在訓(xùn)練一個(gè)用于判斷是否下雨的神經(jīng)網(wǎng)絡(luò)。輸入向量x包含兩個(gè)特征:溫度和濕度。我們希望神經(jīng)元能夠根據(jù)這兩個(gè)特征來(lái)判斷是否下雨。
偏置b可以看作是神經(jīng)元對(duì)溫度和濕度的敏感度。如果偏置b的值較高,那么即使溫度和濕度較低,神經(jīng)元仍然可能激活,判斷為下雨的可能性較大。相反,如果偏置b的值較低,那么即使溫度和濕度較高,神經(jīng)元也可能不會(huì)激活,判斷為下雨的可能性較小。
通過(guò)調(diào)整偏置b的值,我們可以控制神經(jīng)元對(duì)不同特征的敏感度,從而使其能夠更好地適應(yīng)不同的輸入模式。