?

R語言實例鏈接：http://tecdat.cn/?p=5689

一、線性分類判別

對于二分類問題，LDA針對的是：數(shù)據(jù)服從高斯分布，且均值不同，方差相同。

概率密度：

p是數(shù)據(jù)的維度。

分類判別函數(shù)：

可以看出結(jié)果是關(guān)于x的一次函數(shù)：wx+w0，線性分類判別的說法由此得來。

參數(shù)計算：

二、二次分類判別

對于二分類問題，QDA針對的是：數(shù)據(jù)服從高斯分布，且均值不同，方差不同。

數(shù)據(jù)方差相同的時候，一次判別就可以，如左圖所示;但如果方差差別較大，就是一個二次問題了，像右圖那樣。

?從sklearn給的例子中，也容易觀察到：

QDA對數(shù)據(jù)有更好的適用性，QDA判別公式：

三、Fisher判據(jù)

　　A-Fisher理論推導

?Fisher一個總原則是：投影之后的數(shù)據(jù)，最小化類內(nèi)誤差，同時最大化類間誤差

其中，

分別對應投影后的類均值。

對應投影后的類內(nèi)方差。

重寫類內(nèi)總方差、類間距離：

?準則函數(shù)重寫：

容易求解：

其中

常借助SVD求解：Sw = U∑VT，Sw-1?= U∑-1VT,借助特征值分解也是可以的。

參考文獻

1.用SPSS估計HLM層次線性模型模型

2.R語言線性判別分析（LDA），二次判別分析（QDA）和正則判別分析（RDA）

3.基于R語言的lmer混合線性回歸模型

4.R語言Gibbs抽樣的貝葉斯簡單線性回歸仿真分析

5.在r語言中使用GAM（廣義相加模型）進行電力負荷時間序列分析

6.使用SAS，Stata，HLM，R，SPSS和Mplus的分層線性模型HLM

7.R語言中的嶺回歸、套索回歸、主成分回歸：線性模型選擇和正則化

8.R語言用線性回歸模型預測空氣質(zhì)量臭氧數(shù)據(jù)

9.R語言分層線性模型案例