因子分析factor analysis（下）
GridSearchCV，它存在的意義就是自動(dòng)調(diào)參，只要把參數(shù)輸進(jìn)去，就能給出最優(yōu)化的結(jié)果和參數(shù)。但是這個(gè)方法適合于小數(shù)據(jù)集，一旦數(shù)據(jù)的量級(jí)上去了，很難得出結(jié)果。這個(gè)時(shí)候就是需要?jiǎng)幽X筋了。數(shù)據(jù)量比較大的時(shí)候可以使用一個(gè)快速調(diào)優(yōu)的方法——坐標(biāo)下降。它其實(shí)是一種貪心算法：拿當(dāng)前對(duì)模型影響最大的參數(shù)調(diào)優(yōu)，直到最優(yōu)化；再拿下一個(gè)影響最大的參數(shù)調(diào)優(yōu)，如此下去，直到所有的參數(shù)調(diào)整完畢。這個(gè)方法的缺點(diǎn)就是可能會(huì)調(diào)到局部最優(yōu)而不是全局最優(yōu)，但是省時(shí)間省力，巨大的優(yōu)勢(shì)面前，還是試一試吧，后續(xù)可以再拿bagging再優(yōu)化。
輸出結(jié)果
spss應(yīng)用
http://jingyan.baidu.com/article/cbf0e500f0a4572eaa28931a.html
因子分析是一種數(shù)據(jù)簡(jiǎn)化的技術(shù)，通過(guò)研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測(cè)數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量來(lái)表示其基本的數(shù)據(jù)結(jié)構(gòu)。
工具/原料
? ?SPSS軟件
數(shù)據(jù)
1.因子分析
1
?1.因子分析
（1）主要思路：降維 ? ?簡(jiǎn)化數(shù)據(jù)結(jié)構(gòu)
（2）目的：將（具有錯(cuò)綜復(fù)雜關(guān)系的）變量 ?綜合為 ?（數(shù)量較少的） ?因子
以再現(xiàn) ? 原始變量與因子的關(guān)系， ?通過(guò)不同的因子，對(duì)變量進(jìn)行分類
消除 ? ? 相關(guān)性，在信息損失最小的情況下，降維
（3）步驟
選取因子分析的變量（選相關(guān)性較大的，利于降維）――標(biāo)準(zhǔn)化處理；
根據(jù)樣本、估計(jì)隨機(jī)向量的協(xié)方差矩陣或相關(guān)矩陣；
選擇一種方法――估計(jì)因子載荷陣，計(jì)算關(guān)鍵統(tǒng)計(jì)特征；
進(jìn)行因子旋轉(zhuǎn)，使因子含義清晰化，并命名，利用因子解釋變量的構(gòu)成；
計(jì)算每個(gè)因子在各樣本上的得分，得出新的因子得分變量――進(jìn)一步分析。
（4）如何分析
檢驗(yàn)變量間偏相關(guān)度KMO值>0.6,才適合做因子分析；
調(diào)整因子個(gè)數(shù)，顯示共同特征后即可命名。
2
?2.因子分析操作步驟
3
?3.看看結(jié)果吧
2.主成分分析
?1.主成分分析與因子分析各自特點(diǎn)
?2.操作步驟
?
?3.看看結(jié)果吧
spss-因子分析/主成分分析-乳腺癌細(xì)胞
數(shù)據(jù)來(lái)源from sklearn.datasets import load_breast_cancer
KMO指數(shù)>0.8，說(shuō)明變量共線性很強(qiáng)，適合因子分析或主成分分析
Bartlett的sig顯著性為0，說(shuō)明也OK，只是bartlett在某些場(chǎng)景參考意義不大
從方差解釋來(lái)看，癌細(xì)胞受到6個(gè)因子共同決定，而非單一因素決定，和之前蒙特卡洛模擬結(jié)論一致
隨機(jī)森林測(cè)試和因子分析的方差解釋相差較大，隨機(jī)森林更加準(zhǔn)確，因子分析方差解釋僅做參考
主成分圖
旋轉(zhuǎn)后因子圖，經(jīng)過(guò)和主成分比較，旋轉(zhuǎn)后因子成分變量參數(shù)很多大于0.9，比較顯著，主成分中大于0.9的變量很少
Extraction Method: Principal Component Analysis.
Rotation Method: Varimax with Kaiser Normalization.
Rotation converged in 11 iterations.
因子總結(jié)結(jié)果：
隨機(jī)森林測(cè)試結(jié)果，1000顆樹(shù)
歡迎各位學(xué)習(xí)更多相關(guān)知識(shí)，python機(jī)器學(xué)習(xí)生物信息學(xué)系列課（作者錄制）
