感知機(jī)

• 人工智能最早的模型
• x ，w 都是向量，b 是一個標(biāo)量
• <w , x>：w 和 x 做內(nèi)積
• 感知機(jī)其實(shí)就是一個二分類問題：輸入大于0就輸出1，否則輸出0

• 和線性回歸的不同點(diǎn)在于線性回歸輸出的是一個實(shí)數(shù)而感知機(jī)輸出的是一個離散的類
• 和softmax的區(qū)別是，在有n個類的情況下，他會輸出n個元素，所以可以是一個多分類的問題，而這里只輸出一個元素，最多只能做一個二分類問題

訓(xùn)練感知機(jī)

• 預(yù)測值和實(shí)際值不符的話（異號）會導(dǎo)致他們的乘積小于等于零，從而更新權(quán)重

收斂定理

• 收斂定理確定停止的條件
• p大于等于0

感知機(jī)不能擬合異或函數(shù)

• 無法使用一條直線將圖上的四個點(diǎn)分成兩類

總結(jié)

多層感知機(jī)

異或問題

• 組合兩個函數(shù)，一層變成了多層

單隱藏層

• 輸入層的大小是固定的，輸出層的大小等于類別的數(shù)量，唯一可以設(shè)置的是隱藏層的大小

單分類問題

• 為什么需要非線性激活函數(shù)？線性的激活函數(shù)或?qū)е伦罱K輸出還是一個線性函數(shù)，就等價(jià)于一個單層的感知機(jī)了

激活函數(shù)

sigmoid激活函數(shù)

• 將 x 的值投影到一個0和1的開區(qū)間中
• sigmoid實(shí)際上是階躍函數(shù)的溫和版

tanh激活函數(shù)

• 和sigmoid很像，區(qū)別在于它是將輸入投影到-1到1的區(qū)間內(nèi)
• -2是為了方便求導(dǎo)

ReLU激活函數(shù)

• 最常用
• 不用做指數(shù)運(yùn)算

多類分類

• softmax就是將所有的輸入映射到0和1的區(qū)間之內(nèi)，并且所有輸出的值加起來等于1，從而轉(zhuǎn)變成概率

• 和單分類的區(qū)別在于最后的輸出做了一個softmax操作

多隱藏層

• 超參數(shù)變多了

總結(jié)

多層感知機(jī)的代碼實(shí)現(xiàn)

----to be continued----