P42 概率分類法概述

1、概率分類基本框架

2、對上圖公式的詳細解釋

同時指出，神經(jīng)網(wǎng)絡忽略考慮樣本的先驗概率。比如檢測你是否患了癌癥，如果在神經(jīng)網(wǎng)絡訓練時是/不是兩類label的樣本各有一半，那這個先驗概率就是0.5.則p（患有癌癥

|你的檢測結果）可以看作是考慮了先驗概率，否則就是沒有考慮。但現(xiàn)實中患有癌癥的label樣本不會和正常樣本的label數(shù)量一樣，所以需要引入先驗概率，在樣本類別數(shù)不一致時要考慮先驗概率。

3、引出問題：如何做概率密度的估計。即有了一堆樣本，如何算他們的先驗概率。

P42 概率密度估計的三個辦法

1、樸素貝葉斯概率密度估計

首先是樸素貝葉斯的限制條件

然后是垃圾郵件分類問題的數(shù)學表示

下面解釋怎么求p(d|C)

下圖右下角是根據(jù)概率計算判別的公式

如果測試樣本中有一個詞，他不曾出現(xiàn)在任何一個訓練樣本中。那么p（d|C）不管是c1、c2，都是0。

因為你看p（Wi=不曾出現(xiàn)|C）=0，那么連乘的結果就是0唄。

那么解決辦法就是改造公式。左下角公式分子+1，分母加上W的模，這樣一來不曾出現(xiàn)的p（w|C）=1/v的模。就不等于0了。

2、高斯概率密度估計

先看簡單的x是一維的情況

胡老師推導x是多維的情況。假設x是多維高斯分布

接下來要做的事就是最大化E（μ，∑）。因為你最大化似然函數(shù)，才能得到那個最符合樣本分布的高斯分布曲線嘛。就好比先射擊再畫靶，樣本就是射擊，求分布就是在樣本上畫靶子。

直接求偏∑不好求，這里做-1。

本節(jié)最后總結求x高斯概率密度估計的一般步驟

在第二步之后，這個優(yōu)化函數(shù)往往是無法直接求導得到最優(yōu)參數(shù)的，就需要使用梯度下降的方法。其中一個需要使用梯度下降等方法求偏導的高斯模型叫混合高斯模型。

第一步

第二步

此時的損失函數(shù)就很復雜，求偏導比較困難，可以用這三個算法求高斯混合模型。

P45 EM算法

1、

板書上節(jié)課混合高斯模型的具體形式

定義極大似然法的目標函數(shù)，本來是最大化這個E，但在優(yōu)化理論中一般是最小化目標函數(shù)，我們就給目標函數(shù)取負號

指出該問題是非凸問題，只能求局部極值。

對比三種求局部極值算法，最常用的梯度下降，快要退出舞臺的基因算法，模擬退火算法，只能適應部分求局部極值問題的EM算法。

詳細解釋什么樣的問題可以用EM算法

第一種

因為最小化函數(shù)的目的是求高斯分布的μ和∑，即高斯分布本身，由樣本點推導出μ、∑是雞生蛋，蛋就是μ、∑，雞是樣本點。

所以先假設樣本點是哪一類，然后去求蛋。

第二種

直接假設μ、∑的值，即先有蛋，然后去看雞。

軟判決

高斯混合模型的EM算法過程

重點要理解式②，然后第三步是重新估計所有的參數(shù)

然后回到2，再次估計，直到收斂

下面時間講另一個EM算法的例子

2、K-均值聚類

如何讓機器自動聚類？

在這里要先假設要聚為幾類，類別是K

若知道某類樣本中心，自然就可以估計樣本的類，但我們不知道這個中心μ。若知道樣本的類，就可以計算出樣本的中心，但我們不知道樣本的類。所以這又是一個雞/蛋問題。

以下是K-均值算法步驟

證明上述算法可收斂，證明在右下角。

K均值經(jīng)常用在壓縮數(shù)據(jù)的場景中。

P48 EM算法的收斂性證明