解讀OpenAI最新論文:GPTs 對(duì)職業(yè)的影響
????3月17日,OpenAI官方發(fā)布了最新的研究論文《GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models》,論文作者認(rèn)為當(dāng)下的發(fā)展趨勢中,GPT類大模型逐漸成為一種通用技術(shù),這將會(huì)對(duì)美國勞動(dòng)力市場產(chǎn)生深刻的潛在影響,并在論文中探討了LLM(大型語言模型)對(duì)美國不同職業(yè)和行業(yè)的具體影響。
????本文主要對(duì)該篇論文的研究結(jié)論和研究方法進(jìn)行翻譯和總結(jié),包括結(jié)論、數(shù)據(jù)說明、研究設(shè)計(jì)三個(gè)部分。

1、研究結(jié)論
絕大多數(shù)職業(yè)和從業(yè)者將受到GPT沖擊:每個(gè)職業(yè)里至少15%部分的工作量、80%從業(yè)者中的19%從業(yè)者的工作量可通過GPT完成并能節(jié)省50%以上時(shí)間。
GPT會(huì)影響各個(gè)薪資層面:更高工資的工作受到GPT的沖擊更大。
需要深度思考的腦力勞動(dòng)更重要:需要科學(xué)和批判性思維這類技能的職業(yè)不太可能受到LLM的影響。相反,需要編程和寫作技能的職業(yè)更容易受到LLM的影響。
高學(xué)歷工作者更易受到GPT沖擊:擁有學(xué)士、碩士及更高學(xué)位的工作者相對(duì)普通人來說更容易受到 GPT 的沖擊。
不需要培訓(xùn)或只需實(shí)習(xí)的職業(yè)更易受 GPT 沖擊:在職培訓(xùn)時(shí)間最長的職業(yè)受 GPT 沖擊程度最低(薪資水平較較低),不需在職培訓(xùn)或只需實(shí)習(xí)的工作更容易受 GPT 沖擊(薪資水平相對(duì)較高)。
與“數(shù)據(jù)處理、信息處理”深度相關(guān)的行業(yè)受到GPT影響最大
2、研究設(shè)計(jì)2.1 數(shù)據(jù)來源
2.1.1 數(shù)據(jù)集1:職業(yè)、詳細(xì)工作活動(dòng)、具體任務(wù)????
????數(shù)據(jù)集1來源于O*NET數(shù)據(jù)庫,包含:1016種職業(yè)(Occupation)、2087項(xiàng)詳細(xì)工作活動(dòng)(DWA)、19265個(gè)具體任務(wù)(Task)。其中,1項(xiàng)詳細(xì)工作活動(dòng)(DWA)與1個(gè)或多個(gè)具體任務(wù)(Task)對(duì)應(yīng)。1項(xiàng)具體任務(wù)(Task)可以關(guān)聯(lián)多項(xiàng)詳細(xì)工作活動(dòng)(DWA)。

2.1.2?數(shù)據(jù)集2:工資、就業(yè)、人口
????數(shù)據(jù)集2來自于美國勞工統(tǒng)計(jì)局(BLS)2020、2021年的數(shù)據(jù),包含:職業(yè)名稱、每個(gè)職業(yè)的工人數(shù)量、2031 年職業(yè)水平的就業(yè)預(yù)測、職業(yè)準(zhǔn)入的教育水平以及獲得職業(yè)能力所需的在職培訓(xùn)情況。
????另外,論文中通過BLS中的當(dāng)前人口調(diào)查數(shù)據(jù)(CPS),將 O*NET中的任務(wù)和工作活動(dòng)數(shù)據(jù)集與 BLS 勞動(dòng)力人口統(tǒng)計(jì)數(shù)據(jù)聯(lián)系起來,形成了一個(gè)截面數(shù)據(jù)。
2.2 Exposure?度量規(guī)則
????論文中用Exposure指標(biāo)來衡量GPTs對(duì)工作活動(dòng)(DWA)和任務(wù)(Task)的沖擊程度,以此代理GPTs對(duì)潛在經(jīng)濟(jì)的影響。Exposure指標(biāo)被定義為:保證完成質(zhì)量相同的情況下,接入GPT或基于GPT技術(shù)的軟件是否能夠?qū)⑼瓿晒ぷ骰顒?dòng)或完成任務(wù)所需的時(shí)間縮短至少50%以上。
????論文將職業(yè)受沖擊程度Exposure分為以下三類:
·?No Exposure(E0):使用GPT完成一項(xiàng)DWA/Task的時(shí)間沒有減少或差不多,或是導(dǎo)致完成質(zhì)量下降。
·?Direct Exposure(E1):直接通過ChatGPT/OpenAI接口訪問LLM或者GPT-4可以將完成DWA/Task所需的時(shí)間減少50%以上。
·?LLM+ Exposed (E2):直接訪問LLM不會(huì)將完成一項(xiàng)DWA/Task所需的時(shí)間減少50%以上,但是通過基于LLM開發(fā)一個(gè)附加軟件,使用該軟件可以將完成所需的時(shí)間減少50%以上。
????論文采用了人工和GPT-4兩種方式進(jìn)行注釋、分類(兩種方式互為補(bǔ)充,結(jié)論顯得更有說服力)度量Exposure:
1、人工法:首先通過對(duì) O*NET 數(shù)據(jù)庫中的每一個(gè)DWA—Tasks進(jìn)行注釋打分,之后進(jìn)行人為歸類到職業(yè)(Occupation)級(jí)別。
2、GPT-4法:使用早期版本的GPT-4 對(duì)工作活動(dòng)和任務(wù)進(jìn)行注釋打分。但是針對(duì)的是Tasks—Occupation,而非人工法的DWA—Tasks。在GPT-4法中作者又對(duì)Exposure?度量規(guī)則進(jìn)行了輕微的修改以增強(qiáng)與一組人工標(biāo)注組標(biāo)簽的一致性。完全一致率(Agreement)在表2中給出。
????此外,論文通過構(gòu)建了3個(gè)指標(biāo)α、β 和 ζ,分別衡量低、中、高水平下的 GPT 對(duì)各職業(yè)的沖擊程度:α代表一個(gè)職業(yè)的Exposure下限;ζ代表一個(gè)職業(yè)的Exposure上限;β 中對(duì)E2的0.5權(quán)重意圖是度量額外開發(fā)部署軟件所需的Exposure(這句翻譯得不太準(zhǔn))。以下表2為GPT 和人類打分兩種方式的一致性和Pearson相關(guān)系數(shù)情況:

3、研究結(jié)論
3.1 Exposure統(tǒng)計(jì)指標(biāo)匯總
????表3是人工和GPT-4兩種Exposure度量方法得到的數(shù)據(jù)匯總結(jié)果。兩種標(biāo)注方式的結(jié)果都表明:??的平均值在0.14左右,這表明在中位數(shù)職業(yè)里至少15%部分的Task直接暴露給了GPT(用GPT替代人工可節(jié)省50%以上時(shí)間),巧合的是,所有Tasks中也有15%左右也是直接暴露給了GPTs。
????結(jié)合β 的平均值,論文作者認(rèn)為:80%職業(yè)的工作者,他們的工作任務(wù)中至少有1個(gè)task暴露給了GPTs;這些工作者他們當(dāng)中的19%,工作任務(wù)中至少50%以上Tasks被標(biāo)記暴露給GPT。(0.8*0.19約等于15%)

3.2?工資、就業(yè)
3.2.1 經(jīng)濟(jì)體間的Exposure密度分布
????圖3的左右兩圖分別是不同分位數(shù)下的職業(yè)—工作任務(wù)、工作者—工作任務(wù)的Exposure程度分布。兩圖具有相似的分布,表明GPT的沖擊程度與不同職業(yè)的工作者之間不存在高度線性相關(guān)性。

3.2.2 就業(yè)水平與薪資階層
????對(duì)于職業(yè)層面的結(jié)論,見圖4的 binscatter圖,人工和GPT-4注釋的兩種方式結(jié)果表現(xiàn)出了一定程度的相似性和相關(guān)性:
????圖4中前兩個(gè)圖表明:GPT沖擊似乎與就業(yè)水平之間沒有太大的相關(guān)性。兩個(gè)圖表都沒有顯示出GPT沖擊在不同就業(yè)水平上的顯著差異。
????圖4中后兩個(gè)圖顯示:盡管存在“許多低薪職業(yè)的Exposure很高、高薪職業(yè)的Exposure很低”的情況,但是binscatter圖中的總體趨勢表明:高工資受到GPTs 的沖擊更大。

3.3 工作技能
????作者首先將 O*NET數(shù)據(jù)庫中的“skill-base”11類數(shù)據(jù)中各類數(shù)據(jù)對(duì)各個(gè)職業(yè)的重要性分?jǐn)?shù)進(jìn)行標(biāo)準(zhǔn)化,之后將其與Exposure指標(biāo)(α,β,ζ)進(jìn)行回歸分析,以檢驗(yàn)技能重要性與Exposure程度之間的關(guān)聯(lián)度。
????根據(jù)表5的回歸結(jié)果:科學(xué)和批判性思維技能的重要性與Exposure強(qiáng)烈負(fù)相關(guān),這表明需要這些技能的職業(yè)不太可能受到LLM的影響。相反,編程和寫作技能與Exposure強(qiáng)烈正相關(guān),這意味著涉及這些技能的職業(yè)更容易受到LLM的影響。

注:skill-base 數(shù)據(jù)樣例如下(最新的O*NET 6中沒有“編程”這一項(xiàng),作者應(yīng)該用的是老數(shù)據(jù))


3.4 職業(yè)準(zhǔn)入門檻
????首先,論文研究了不同領(lǐng)域(Job?Zone)的工作準(zhǔn)入壁壘與Exposure程度的關(guān)系,使用的數(shù)據(jù)為?O*NET 數(shù)據(jù)庫中5個(gè)“Job Zone”及對(duì)應(yīng)職位相關(guān)信息,結(jié)果為圖5、表6。從結(jié)果上看:從Zone?1 到Zone?4,Exposure逐漸增加,但在Zone?5 則有所減少。并且,50%以上任務(wù)受到 GPT 沖擊的職業(yè)比例(平均百分比)分別為0.00%(Zone 1),6.11%(Zone 2),10.57%(Zone 3),34.5%(Zone 4)和26.45%(Zone 5)。


????之后,論文驗(yàn)證了各領(lǐng)域(Job?Zone)職業(yè)中的教育門檻(學(xué)歷門檻、在職培訓(xùn)時(shí)長,兩個(gè)變量)與Exposure程度的關(guān)系,使用的數(shù)據(jù)為BLS-Occupation數(shù)據(jù)集中"Typical Education Needed for Entry" 、?"On-the-job Training Required to Attain Competency"兩類。
????表7、表10分別是按“在職培訓(xùn)時(shí)長”、“準(zhǔn)入學(xué)歷”分類職業(yè)的平均Exposure結(jié)果。論文作者認(rèn)為:高學(xué)歷工作者(持有學(xué)士、碩士和更高學(xué)位)相對(duì)普通人更容易受到 GPT 的沖擊。在職培訓(xùn)時(shí)間最長的職業(yè)受 GPT 沖擊程度最低(這類工作的收入水平更低),而不需在職培訓(xùn)或只需實(shí)習(xí)的工作更容易受 GPT 沖擊(工作的收入水平更高)


注:O*NET 數(shù)據(jù)庫中5個(gè)“Job Zone”、BLS-Occupation教育數(shù)據(jù)樣例
3.5?職業(yè)、行業(yè)層面的Exposure
????作者整理了最高Exposure的5個(gè)職業(yè)(這些職業(yè)均與“信息、數(shù)據(jù)處理”任務(wù)高度相關(guān))以及Exposure為0的34個(gè)職業(yè)(幾乎都為體力勞動(dòng)),最后將數(shù)據(jù)整合到行業(yè)層面。下面是具體結(jié)果,其中行業(yè)層面Exposure的圖片來源于東北證券對(duì)該論文的解讀。? ?



????另外,作者認(rèn)為:近期的生產(chǎn)增長率(包含全要素和勞動(dòng)力兩方面)與Exposure無顯著相關(guān)性。從散點(diǎn)圖上看,不同行業(yè)自 2012 年以來的生產(chǎn)力增長率與研究中定義的Exposure沒有明顯的線性關(guān)系,但已經(jīng)歷快速增長的生產(chǎn)性行業(yè)與Exposure度之間存在高度相關(guān)性。即:如果 LLM 有可能在不同行業(yè)之間以不同程度提高生產(chǎn)力,那么高生產(chǎn)力的企業(yè)將更有生產(chǎn)力。由于這些行業(yè)的生產(chǎn)需求普遍缺乏彈性, 生產(chǎn)率最高的部門在經(jīng)濟(jì)投入中所占的比例將縮小。????

4、?關(guān)于Exposure方法的討論
????為了說明Exposure度量方法的可靠性以及結(jié)論的穩(wěn)健性,作者除了使用GPT-4、人工標(biāo)注法對(duì)比以外,在這一部分又與其他方法進(jìn)行了比較。作者首先總結(jié)了前人在Occupation Exposure方面的度量方法,并將這些研究方法應(yīng)用于數(shù)據(jù)集中:


之后,作者將這些方法作為解釋變量,在本文中新定義的Exposure規(guī)則上分別用GPT-4、人工標(biāo)注得到的評(píng)分?jǐn)?shù)據(jù)對(duì)這些方法(解釋變量)進(jìn)行基準(zhǔn)回歸(對(duì)比控制Avg.Salary對(duì)數(shù)值):

可以看到,除了AI大部分?jǐn)?shù)據(jù)都是***,說明作者定義的Exposure規(guī)則與前人8種度量方法之間存在顯著相關(guān)性,因此,本篇論文作者實(shí)證得到的結(jié)論具有一定的可信性。

參考文獻(xiàn)
[1]?2023 GPTs are GPTs- An Early Look at the Labor Market Impact potential of LLMhttps://arxiv.org/pdf/2303.10130v1.pdf[2] 東北證券. GPT 將如何影響我們的工作?? 2023.03.23