大型語言模型的發(fā)展歷程并不完全一帆風(fēng)順。

回顧深度學(xué)習(xí)發(fā)展的前10年,模型的性能提高主要依賴于網(wǎng)絡(luò)結(jié)構(gòu)的變革。由于“模型尺寸呈指數(shù)增長，性能只會線性增加”的語言模型的縮放定律的現(xiàn)象，研究人員發(fā)現(xiàn),即便是最大的GPT-3模型，在有提示的情況下，其性能也不不如精心調(diào)教的小模型。同時超大的網(wǎng)絡(luò)規(guī)模極大增加訓(xùn)練所需數(shù)據(jù)量、訓(xùn)練和推理成本。

所以，當(dāng)時并沒有必要鋌而走險，投入大量資源去訓(xùn)練一個“龐然大物”。

然而，隨著神經(jīng)網(wǎng)絡(luò)設(shè)計技術(shù)的日臻成熟，要僅通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來獲得顯著性能提高已然困難重重。近年來，著計算機算力的提高和數(shù)據(jù)集規(guī)模的擴大，研究者開始把目光轉(zhuǎn)向模型規(guī)模的擴張。實驗結(jié)果顯示。

一旦模型大小達到某個“臨界質(zhì)量”，其性能提高將遠超比例關(guān)系，呈現(xiàn)出量變引發(fā)的質(zhì)變。簡而言之，當(dāng)模型的參數(shù)數(shù)量超過某個閾值，它會突然展現(xiàn)出遠超小模型的強大能力。這就催生了大規(guī)模預(yù)訓(xùn)練語言模型的蓬勃發(fā)展，尤其在自然語言處理領(lǐng)域。