預(yù)測模型應(yīng)該是我們?cè)谏盼恼轮幸姷米疃嗟哪Ｐ?，一般腫瘤中做預(yù)后模型，非腫瘤疾病中做診斷模型，模型構(gòu)建完就要進(jìn)行模型評(píng)價(jià)和驗(yàn)證，告訴別人自己的模型是可靠的，性能優(yōu)越的~

小云前面分享了2期【預(yù)測模型】相關(guān)內(nèi)容，分別是模型評(píng)價(jià)和模型對(duì)比，，第3期就來講講模型驗(yàn)證~?~

“模型驗(yàn)證”是模型開發(fā)過程中一個(gè)必不可少的步驟，主要包括內(nèi)部驗(yàn)證和外部驗(yàn)證。

看到這里可能小伙伴們就會(huì)發(fā)問了：什么是內(nèi)部驗(yàn)證和外部驗(yàn)證呀？有啥區(qū)別？該怎么用？

不急不急，這就是布小谷今天要分享的內(nèi)容。因?yàn)橛泻芏嗳藭?huì)混淆這兩種驗(yàn)證隊(duì)列（小云剛開始解讀生信文章時(shí)，也混用了這2個(gè)名稱，幸好被領(lǐng)導(dǎo)糾正了過來），所以小云把自己掉過的坑，摸索出來的經(jīng)驗(yàn)也分享給小伙伴們，爭取讓朋友們?cè)谏诺缆飞仙俨刃┛?/span>

下面就跟著小云一起來學(xué)習(xí)模型驗(yàn)證吧~?~

p?先來明確幾個(gè)概念

l?模型開發(fā)隊(duì)列（Derivation cohort）指的是用于模型開發(fā)的人群，此處的模型開發(fā)是廣義的上概念，是指建立模型的全過程，包括變量轉(zhuǎn)換、變量篩選、模型擬合以及內(nèi)部驗(yàn)證。

l?模型驗(yàn)證隊(duì)列（Validation cohort），與上面的開發(fā)隊(duì)列相對(duì)應(yīng)，通常特指獨(dú)立于模型開發(fā)隊(duì)列的外部驗(yàn)證隊(duì)列。

l?注意：模型驗(yàn)證使用開發(fā)隊(duì)列還是驗(yàn)證隊(duì)列決定了模型驗(yàn)證的性質(zhì)是屬于內(nèi)部驗(yàn)證還是外部驗(yàn)證。開發(fā)隊(duì)列和驗(yàn)證隊(duì)列與訓(xùn)練集（Training set）和驗(yàn)證集（Validation set）的概念不同，不可混淆。模型開發(fā)隊(duì)列和驗(yàn)證隊(duì)列是研究設(shè)計(jì)層面的概念，而訓(xùn)練集和驗(yàn)證集是模型開發(fā)和評(píng)估過程中的技術(shù)術(shù)語：訓(xùn)練集用于模型擬合，驗(yàn)證集用于評(píng)估訓(xùn)練集擬合的模型的表現(xiàn)。

p?內(nèi)部驗(yàn)證

內(nèi)部驗(yàn)證是基于模型開發(fā)隊(duì)列數(shù)據(jù)進(jìn)行的驗(yàn)證，通常內(nèi)部驗(yàn)證也是作為模型開發(fā)的一部分，其目的是檢驗(yàn)?zāi)Ｐ烷_發(fā)過程的可重復(fù)性（Reproducibility），并且防止模型過度擬合導(dǎo)致高估模型的性能。

注意：內(nèi)部驗(yàn)證是針對(duì)整個(gè)建模過程中的所有步驟，包括變量轉(zhuǎn)換、變量篩選及模型選擇，甚至需要包括對(duì)數(shù)據(jù)缺失值的插補(bǔ)，而不是僅針對(duì)最終模型進(jìn)行驗(yàn)證。而且，內(nèi)部驗(yàn)證不等于直接在模型開發(fā)隊(duì)列數(shù)據(jù)中評(píng)價(jià)模型表現(xiàn)，內(nèi)部驗(yàn)證的實(shí)施通常需借助數(shù)據(jù)分割或重抽樣方法來實(shí)現(xiàn)。

內(nèi)部驗(yàn)證一般使用以下幾種方法進(jìn)行：

n?隨機(jī)拆分驗(yàn)證：最初的做法是將模型開發(fā)隊(duì)列隨機(jī)分為訓(xùn)練集和驗(yàn)證集兩部分，通常兩者比例為1:1、2:1、3:1、7:3等。采用該方法將數(shù)據(jù)分為兩部分進(jìn)行“內(nèi)部驗(yàn)證”，由于只有一部分的數(shù)據(jù)用于構(gòu)建模型，因此模型相對(duì)不穩(wěn)定，并且樣本量較小的研究通常不適合這種方法。（ps：很多生信文章都是用著這個(gè)方法來拆分開發(fā)隊(duì)列進(jìn)行內(nèi)部驗(yàn)證，不過它并不適用所有數(shù)據(jù)集，小伙伴們自己分析的時(shí)候也要根據(jù)所選數(shù)據(jù)集樣本量來選方法哦）

n?交叉驗(yàn)證：又稱K折檢驗(yàn)，是隨機(jī)拆分驗(yàn)證的改進(jìn)。以K=10的10折驗(yàn)證為例：將開發(fā)隊(duì)列隨機(jī)分為10份，每次利用其中9份作為訓(xùn)練集，剩余1份作為驗(yàn)證集，并重復(fù)這一過程。但交叉驗(yàn)證對(duì)于模型開發(fā)數(shù)據(jù)的使用效率不佳，所以逐漸被Bootstrap方法取代。

n?Bootstrap方法：是通過在模型開發(fā)隊(duì)列中進(jìn)行有放回抽樣，構(gòu)造一個(gè)相同樣本量大小的Bootstrap重抽樣樣本，并將此樣本作為訓(xùn)練集，將模型開發(fā)隊(duì)列作為驗(yàn)證集評(píng)價(jià)模型性能重復(fù)此過程n次，就可得到模型在內(nèi)部驗(yàn)證中的表現(xiàn)。這個(gè)方法得到的模型比上面兩種方法有更高的穩(wěn)定性。

“內(nèi)部-外部”交叉驗(yàn)證：類似于交叉驗(yàn)證，但是在拆分?jǐn)?shù)據(jù)時(shí)不是隨機(jī)分組，而是根據(jù)數(shù)據(jù)來源分組，這種方法多用于多中心數(shù)據(jù)開發(fā)隊(duì)列。其優(yōu)勢(shì)是在模型開發(fā)過程中利用了全部開發(fā)隊(duì)列數(shù)據(jù)（因此仍屬于內(nèi)部驗(yàn)證），同時(shí)在內(nèi)部驗(yàn)證中通過非隨機(jī)拆分，實(shí)現(xiàn)了外部驗(yàn)證的效果

p?外部驗(yàn)證

外部驗(yàn)證是利用模型開發(fā)中未使用過的數(shù)據(jù)來評(píng)估模型在新數(shù)據(jù)中的表現(xiàn)。相對(duì)于內(nèi)部驗(yàn)證，外部驗(yàn)證更關(guān)注的是模型的可移植性（Transportability）和可泛化性（Generalizability），也即模型在與模型開發(fā)隊(duì)列不同時(shí)間段，不同區(qū)域或不同人群中的表現(xiàn)是否與模型開發(fā)時(shí)一致。為了提高研究成果的質(zhì)量并且使預(yù)測模型更有公信力，在模型開發(fā)和內(nèi)部驗(yàn)證完成后，模型開發(fā)者通常還會(huì)對(duì)自己開發(fā)的模型進(jìn)行外部驗(yàn)證，并且將外部驗(yàn)證結(jié)果與模型開發(fā)過程在研究論文中一起報(bào)告。另外，利用現(xiàn)有數(shù)據(jù)對(duì)他人已發(fā)表的模型進(jìn)行外部驗(yàn)證，也可以作為單獨(dú)的模型外部驗(yàn)證類研究發(fā)表。

根據(jù)模型驗(yàn)證隊(duì)列數(shù)據(jù)來源的不同，外部驗(yàn)證可分為以下幾類：

n?時(shí)段驗(yàn)證（Temporal validation），指的是利用與模型開發(fā)隊(duì)列來源相同，但是時(shí)間段不同的數(shù)據(jù)對(duì)模型表現(xiàn)進(jìn)行驗(yàn)證。最常見的是在模型開發(fā)過程中繼續(xù)收集數(shù)據(jù)，在模型開發(fā)完成后，利用新收集的數(shù)據(jù)對(duì)模型進(jìn)行外部時(shí)段驗(yàn)證。

n?空間驗(yàn)證（Geographical validation），指的是對(duì)模型在其他中心甚至其他國家的數(shù)據(jù)中的表現(xiàn)進(jìn)行驗(yàn)證，所以驗(yàn)證隊(duì)列可能采用與開發(fā)隊(duì)列不同的納入/排除標(biāo)準(zhǔn)或不同的預(yù)測因子和結(jié)局變量的測量方法?？臻g驗(yàn)證比時(shí)段驗(yàn)證能更好的檢驗(yàn)?zāi)Ｐ偷目赊D(zhuǎn)移性和泛化性。（ps：我們?cè)谏盼恼轮幸姷帽容^多的基本屬于空間驗(yàn)證，利用其它公共數(shù)據(jù)集或者自有隊(duì)列進(jìn)行外部驗(yàn)證）

n?領(lǐng)域驗(yàn)證（Domain validation），是指在不同的臨床場景中對(duì)模型進(jìn)行驗(yàn)證，例如模型開發(fā)時(shí)是基于醫(yī)院的患者數(shù)據(jù)，在領(lǐng)域驗(yàn)證時(shí)可以利用社區(qū)居民數(shù)據(jù)檢驗(yàn)?zāi)Ｐ驮诓煌巳褐械谋憩F(xiàn)。

小云之聲

看完小云的介紹，朋友們分清楚什么是內(nèi)部驗(yàn)證和外部驗(yàn)證了嗎？如果對(duì)你有所幫助的話，請(qǐng)多多關(guān)注小云公眾號(hào)哦！如果您的時(shí)間和精力有限或者缺乏相關(guān)經(jīng)驗(yàn)，并且對(duì)生信分析和思路設(shè)計(jì)有所需要的話，“小云非常樂意為您提供如下服務(wù)：免費(fèi)思路評(píng)估、付費(fèi)生信分析和方案設(shè)計(jì)以及實(shí)驗(yàn)項(xiàng)目實(shí)施等，有意向的小伙伴歡迎咨詢布小谷哦！