丟棄法

動機

• 不管加入多少噪音，圖片中的內(nèi)容始終都是能夠看清除的
• 正則項的作用就是使得權(quán)重不要過大，避免過擬合
• 在數(shù)據(jù)中加入噪音等價于一個正則
• 丟棄法是在層之間加入噪音，丟棄法其實是一個正則

無偏差的加入噪音

• 假設x是上一層到下一層的輸出
• 對x加入噪音，但是不要改變它的期望
• 丟棄法：對于x’，給定一個概率p，在p的概率中將真是的原始的輸入變成0，在其它的地方除以一個（1-p），即將該輸入變大。在一部份地方以一定的概率p變成0，在另外一部分地方以一定的概率變大，所以它的期望是不變的

使用丟棄法

• h是第一個隱藏層的輸出
• dropout表示對h使用丟棄法

推理中的丟棄法

• 在預測的過程中因為不訓練，所以不使用dropout
• 正則項只在訓練中使用，它只會對權(quán)重產(chǎn)生影響，在預測的時候，權(quán)重不需要發(fā)生變化的情況下，不需要正則，所以在推理中不需要正則，確保在推理過程中能夠有一個確定性的輸出

總結(jié)

• 常用在多層感知機的隱藏層輸出上，就是對應的全連接層的額隱藏層輸出上，很少會用在CNN這類的模型上面

----to be continued----