原文鏈接：http://tecdat.cn/?p=26184?

原文出處：拓端數(shù)據(jù)部落公眾號

在此數(shù)據(jù)集中，我們必須預(yù)測信貸的違約支付，并找出哪些變量是違約支付的最強(qiáng)預(yù)測因子？以及不同人口統(tǒng)計學(xué)變量的類別，拖欠還款的概率如何變化？

有25個變量：

1. ID：?每個客戶的ID
2. LIMIT_BAL：?金額
3. SEX：?性別（1 =男，2 =女）
4.教育程度：（1 =研究生，2 =本科，3 =高中，4 =其他，5 =未知）
5.婚姻：?婚姻狀況（1 =已婚，2 =單身，3 =其他）
6.年齡：
7.??PAY_0：??2005年9月的還款狀態(tài)（-1 =正常付款，1 =延遲一個月的付款，2 =延遲兩個月的付款，8 =延遲八個月的付款，9 =延遲9個月以上的付款）
8. PAY_2：??2005年8月的還款狀態(tài)（與上述相同）
9. PAY_3：?2005年7月的還款狀態(tài)（與上述相同）
10. PAY_4：??2005年6月的還款狀態(tài)（與上述相同）
11. PAY_5：??2005年5月的還款狀態(tài)（與上述相同）
12. PAY_6：?還款狀態(tài)2005年4月?的賬單（與上述相同）
13. BILL_AMT1：?2005年9月的賬單金額
14. BILL_AMT2：??2005年8月的賬單金額
15. BILL_AMT3：?賬單金額2005年7月?的賬單金額
16. BILL_AMT4：?2005年6月的賬單金額
17. BILL_AMT5：??2005年5月的賬單金額
18. BILL_AMT6：?2005年4月
19. PAY_AMT1??2005年9月，先前支付金額
20. PAY_AMT2??2005年8月，以前支付的金額
21. PAY_AMT3：?2005年7月的先前付款
22. PAY_AMT4：??2005年6月的先前付款
23. PAY_AMT5：??2005年5月的先前付款
24. PAY_AMT6：?先前的付款額在2005年4月
25. default.payment.next.month：?默認(rèn)付款（1 =是，0 =否）

現(xiàn)在，我們知道了數(shù)據(jù)集的整體結(jié)構(gòu)。因此，讓我們應(yīng)用在應(yīng)用機(jī)器學(xué)習(xí)模型時通常應(yīng)該執(zhí)行的一些步驟。

相關(guān)視頻：Boosting集成學(xué)習(xí)原理與R語言提升回歸樹BRT預(yù)測短鰭鰻分布生態(tài)學(xué)實例

Boosting集成學(xué)習(xí)原理與R語言提升回歸樹BRT預(yù)測短鰭鰻分布生態(tài)學(xué)實例

，時長10:25

第1步：導(dǎo)入

1. import numpy as np

2. import matplotlib.pyplot as plt

所有寫入當(dāng)前目錄的結(jié)果都保存為輸出。

dataset = pd.read_csv('Card.csv')

現(xiàn)在讓我們看看數(shù)據(jù)是什么樣的

?

第2步：數(shù)據(jù)預(yù)處理和清理

dataset.shape(30000, 25)

意味著有30,000條目包含25列

從上面的輸出中可以明顯看出，任何列中都沒有對象類型不匹配。

1. #檢查數(shù)據(jù)中Null項的數(shù)量，按列計算。

2. dataset.isnull().sum()

步驟3.數(shù)據(jù)可視化和探索性數(shù)據(jù)分析

1. # 按性別檢查違約者和非違約者的計數(shù)數(shù)量

2. sns.countplot

從上面的輸出中可以明顯看出，與男性相比，女性的整體拖欠付款更少

可以明顯看出，那些擁有婚姻狀況的人的已婚狀態(tài)人的默認(rèn)拖欠付款較少。

sns.pairplot

sns.jointplot

男女按年齡分布

g.map(plt.hist,'AGE')

dataset['LIMIT_BAL'].plot.density

步驟4.找到相關(guān)性

X.corrwith

從上圖可以看出，最負(fù)相關(guān)的特征是LIMIT_BAL，但我們不能盲目地刪除此特征，因為根據(jù)我的看法，這對預(yù)測非常重要。ID無關(guān)緊要，并且在預(yù)測中沒有任何作用，因此我們稍后將其刪除。

1. 


2. # 繪制熱圖

3. sns.heatmap(corr)

步驟5：將數(shù)據(jù)分割為訓(xùn)練和測試集

訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集必須相似，通常具有相同的預(yù)測變量或變量。它們在變量的觀察值和特定值上有所不同。如果將模型擬合到訓(xùn)練數(shù)據(jù)集上，則將隱式地最小化誤差。擬合模型為訓(xùn)練數(shù)據(jù)集提供了良好的預(yù)測。然后，您可以在測試數(shù)據(jù)集上測試模型。如果模型在測試數(shù)據(jù)集上也預(yù)測良好，則您將更有信心。因為測試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集相似，但模型既不相同也不相同。這意味著該模型在真實意義上轉(zhuǎn)移了預(yù)測或?qū)W習(xí)。

因此，通過將數(shù)據(jù)集劃分為訓(xùn)練和測試子集，我們可以有效地測量訓(xùn)練后的模型，因為它以前從未看到過測試數(shù)據(jù)，因此可以防止過度擬合。

我只是將數(shù)據(jù)集拆分為20％的測試數(shù)據(jù)，其余80％將用于訓(xùn)練模型。

train_test_split(X, y, test_size = 0.2, random_state = 0)

步驟6：規(guī)范化數(shù)據(jù)：特征標(biāo)準(zhǔn)化

對于許多機(jī)器學(xué)習(xí)算法而言，通過標(biāo)準(zhǔn)化（或Z分?jǐn)?shù)標(biāo)準(zhǔn)化）進(jìn)行特征標(biāo)準(zhǔn)化可能是重要的預(yù)處理步驟。

許多算法（例如SVM，K近鄰算法和邏輯回歸）都需要對特征進(jìn)行規(guī)范化，

1. min_test = X_test.min()

2. range_test = (X_test - min_test).max()

3. X_test_scaled = (X_test - min_test)/range_test

步驟7：應(yīng)用機(jī)器學(xué)習(xí)模型

1. from sklearn.ensemble ?import AdaBoostClassifier

2. adaboost =AdaBoostClassifier()

1. 


2. 


3. xgb_classifier.fit(X_train_scaled, y_train,verbose=True)

4. end=time()

5. train_time_xgb=end-start

應(yīng)用具有100棵樹和標(biāo)準(zhǔn)熵的隨機(jī)森林

1. classifier = RandomForestClassifier(random_state = 47,

2. criterion = 'entropy',n_estimators=100)

1. 


2. svc_model = SVC(kernel='rbf', gamma=0.1,C=100)

knn = KNeighborsClassifier(n_neighbors = 7)

步驟8：分析和比較機(jī)器學(xué)習(xí)模型的訓(xùn)練時間

1. 


2. Train_Time = [

3. train_time_ada,

4. train_time_xgb,

5. train_time_sgd,

6. train_time_svc,

7. train_time_g,

8. train_time_r100,

9. 


10. train_time_knn

11. ]

從上圖可以明顯看出，與其他模型相比，Adaboost和XGboost花費的時間少得多，而其他模型由于SVC花費了最多的時間，原因可能是我們已經(jīng)將一些關(guān)鍵參數(shù)傳遞給了SVC。

步驟9.模型優(yōu)化

在每個迭代次數(shù)上，隨機(jī)搜索的性能均優(yōu)于網(wǎng)格搜索。同樣，隨機(jī)搜索似乎比網(wǎng)格搜索更快地收斂到最佳狀態(tài)，這意味著迭代次數(shù)更少的隨機(jī)搜索與迭代次數(shù)更多的網(wǎng)格搜索相當(dāng)。

在高維參數(shù)空間中，由于點變得更稀疏，因此在相同的迭代中，網(wǎng)格搜索的性能會下降。同樣常見的是，超參數(shù)之一對于找到最佳超參數(shù)并不重要，在這種情況下，網(wǎng)格搜索浪費了很多迭代，而隨機(jī)搜索卻沒有浪費任何迭代。

現(xiàn)在，我們將使用Randomsearch cv優(yōu)化模型準(zhǔn)確性。如上表所示，Adaboost在該數(shù)據(jù)集中表現(xiàn)最佳。因此，我們將嘗試通過微調(diào)adaboost和SVC的超參數(shù)來進(jìn)一步優(yōu)化它們。

參數(shù)調(diào)整

現(xiàn)在，讓我們看看adaboost的最佳參數(shù)是什么

random_search.best_params_{'random_state': 47, 'n_estimators': 50, 'learning_rate': 0.01}

random_search.best_params_{'n_estimators': 50, 'min_child_weight': 4, 'max_depth': 3}

random_search.best_params_{'penalty': 'l2', 'n_jobs': -1, 'n_iter': 1000, 'loss': 'log', 'alpha': 0.0001}

出色的所有指標(biāo)參數(shù)準(zhǔn)確性，F(xiàn)1分?jǐn)?shù)精度，ROC，三個模型adaboost，XGBoost和SGD的召回率現(xiàn)已優(yōu)化。此外，我們還可以嘗試使用其他參數(shù)組合來查看是否會有進(jìn)一步的改進(jìn)。

ROC曲線圖

1. 


2. auc = metrics.roc_auc_score(y_test,model.predict(X_test_scaled))

3. 


4. plt.plot([0, 1], [0, 1],'r--')

1. 


2. # 計算測試集分?jǐn)?shù)的平均值和標(biāo)準(zhǔn)差

3. test_mean = np.mean

4. 


5. # 繪制訓(xùn)練集和測試集的平均準(zhǔn)確度得分

6. plt.plot

7. # 繪制訓(xùn)練集和測試集的準(zhǔn)確度。

8. plt.fill_between

驗證曲線的解釋

如果樹的數(shù)量在10左右，則該模型存在高偏差。兩個分?jǐn)?shù)非常接近，但是兩個分?jǐn)?shù)都離可接受的水平太遠(yuǎn)，因此我認(rèn)為這是一個高度偏見的問題。換句話說，該模型不適合。

在最大樹數(shù)為250的情況下，由于訓(xùn)練得分為0.82但驗證得分約為0.81，因此模型存在高方差。換句話說，模型過度擬合。同樣，數(shù)據(jù)點顯示出一種優(yōu)美的曲線。但是，我們的模型使用非常復(fù)雜的曲線來盡可能接近每個數(shù)據(jù)點。因此，具有高方差的模型具有非常低的偏差，因為它幾乎沒有假設(shè)數(shù)據(jù)。實際上，它對數(shù)據(jù)的適應(yīng)性太大。

從曲線中可以看出，大約30到40的最大樹可以最好地概括看不見的數(shù)據(jù)。隨著最大樹的增加，偏差變小，方差變大。我們應(yīng)該保持兩者之間的平衡。在30到40棵樹的數(shù)量之后，訓(xùn)練得分就開始上升，而驗證得分開始下降，因此我開始遭受過度擬合的困擾。因此，這是為什么30至40之間的任何數(shù)量的樹都是一個不錯的選擇的原因。

結(jié)論

因此，我們已經(jīng)看到，調(diào)整后的Adaboost的準(zhǔn)確性約為82.95％，并且在所有其他性能指標(biāo)（例如F1分?jǐn)?shù)，Precision，ROC和Recall）中也取得了不錯的成績。

此外，我們還可以通過使用Randomsearch或Gridsearch進(jìn)行模型優(yōu)化，以找到合適的參數(shù)以提高模型的準(zhǔn)確性。

我認(rèn)為，如果對這三個模型進(jìn)行了適當(dāng)?shù)恼{(diào)整，它們的性能都會更好。

最受歡迎的見解

1.從決策樹模型看員工為什么離職

2.R語言基于樹的方法：決策樹，隨機(jī)森林

3.python中使用scikit-learn和pandas決策樹

4.機(jī)器學(xué)習(xí)：在SAS中運行隨機(jī)森林?jǐn)?shù)據(jù)分析報告

5.R語言用隨機(jī)森林和文本挖掘提高航空公司客戶滿意度

6.機(jī)器學(xué)習(xí)助推快時尚精準(zhǔn)銷售時間序列

7.用機(jī)器學(xué)習(xí)識別不斷變化的股市狀況——隱馬爾可夫模型的應(yīng)用

8.python機(jī)器學(xué)習(xí)：推薦系統(tǒng)實現(xiàn)（以矩陣分解來協(xié)同過濾）

9.python中用pytorch機(jī)器學(xué)習(xí)分類預(yù)測銀行客戶流失