8.5

在使用

xgboost

或

lightgbm

建模之前是否進(jìn)行相關(guān)性處理？ 當(dāng)使用XGBoost或LightGBM等機(jī)器學(xué)習(xí)模型進(jìn)行建模之前，是否需要進(jìn)行相關(guān)性處理呢？ 當(dāng)然需要！在邏輯回歸（LR）中，我們努力使向量空間的描述更準(zhǔn)確。而在XGBoost等模型中，主要是為了去除之間具有較強(qiáng)替代性的特征。允許我用一個(gè)有趣的比喻來解釋這個(gè)過程： 假設(shè)有一個(gè)特征，它與其他9個(gè)特征之間存在非常強(qiáng)的相關(guān)性，我們將它們一同引入模型中并分別賦予不同的名字。在一開始，這個(gè)特征的重要性可能是10，因?yàn)樗撕芏嘈畔?。但是，?dāng)模型進(jìn)行劃分時(shí)，每個(gè)特征都只能發(fā)揮一點(diǎn)點(diǎn)作用，因此這個(gè)特征的重要性開始逐漸減小。最終，這9個(gè)相關(guān)的特征都可能被篩選掉，因?yàn)樗鼈兊闹匾远甲兂闪?，而且可能低于某個(gè)閾值，例如5。 因此，進(jìn)行相關(guān)性處理有助于減少模型中冗余的信息，提高模型的效率和泛化能力。這就好比程序員在編寫代碼時(shí)，優(yōu)化算法以提高執(zhí)行效率，去除冗余的代碼以提高可維護(hù)性一樣，都是為了讓模型更好地工作。