多層感知機

無激活函數(shù)，網(wǎng)絡(luò)退化為單層網(wǎng)絡(luò)（矩陣乘法）

so 隱藏層加入激活函數(shù)，可避免網(wǎng)絡(luò)退化

激活函數(shù)具備性質(zhì)

常見激活函數(shù)：

• Sigmoid(常用于二分類輸出的激活函數(shù)，把實數(shù)域上的值映射到0-1區(qū)間，符合概率分布形式。其導(dǎo)函數(shù)有兩個飽和區(qū)，由于梯度非常小，也就是其導(dǎo)函數(shù)的值非常小，神經(jīng)元進入了飽和狀態(tài)【其值接近于1】 ，當(dāng)大量神經(jīng)元位于飽和區(qū)時，梯度太小，將無法前向傳播梯度去更新其權(quán)重，使得模型訓(xùn)練更困難）

• Tanh（雙曲正切，值域[-1,1]，零均值，會有兩個飽和區(qū)，梯度接近于0，不利于神經(jīng)網(wǎng)絡(luò)權(quán)重的更新，不利于梯度前向傳播）

• ReLu y=x（不存在飽和區(qū)，在卷積神經(jīng)網(wǎng)絡(luò)CNN總常見）

反向傳播作用、原理

梯度下降法

學(xué)習(xí)率

Loss 損失函數(shù)

交叉熵：衡量兩個概率分布的差異

softmax函數(shù)

正則化：減輕過擬合

Dropout：隨機失活