（本文轉(zhuǎn)載自：大數(shù)據(jù)文摘）

? ? ? ? 來看一個(gè)笑話。

我本該在下午5點(diǎn)開始寫論文。?但后來我就開始玩這個(gè)很酷的新語言模型，玩了10分鐘，10分鐘后，突然就晚上9點(diǎn)半了！

? ? ? ??這個(gè)笑話可能比較簡(jiǎn)單，大家一聽就懂，不就是說“快樂的時(shí)光總是覺得很短暫”嘛。

? ? ? ??不過，你能想象這里面說的“很酷的新語言模型”，居然也能聽懂這個(gè)笑話？

? ? ? ??不僅能聽懂，它甚至還能一本正經(jīng)地解釋這個(gè)笑話：

這個(gè)笑話是關(guān)于當(dāng)你開心的時(shí)候，時(shí)間過得多么快。?這個(gè)人本來應(yīng)該在下午5點(diǎn)開始寫一篇論文，但他們卻開始玩語言模型。?他以為自己只玩了1分鐘，但實(shí)際上是4.5小時(shí)。?

? ? ? ??這個(gè)能力的背后就是谷歌的新模型——Pathways Language Model (PaLM)，一個(gè)可以解釋笑話的模型，有了它，世界上就再也沒有難懂的梗了。

論文地址：

https://arxiv.org/pdf/2204.02311v2.pdf

PaLM，5400億參數(shù)，讓世上沒有難懂的梗

? ? ? ??當(dāng)然了，PaLM的設(shè)計(jì)之初，肯定不會(huì)只是想解釋解釋笑話。

? ? ? ??去年，Google Research宣布了對(duì)PaLM的設(shè)想，PaLM會(huì)是一個(gè)單一的模型，可以在高效率的情況下推廣到各個(gè)領(lǐng)域和任務(wù)。

? ? ? ??在“PaLM: Scaling Language Modeling with Pathways”論文中，Google Research詳細(xì)介紹了 Pathways Language Model (PaLM) ，這是一個(gè)5400億參數(shù)的Transformer模型。

? ? ? ??PaLM可以實(shí)現(xiàn)在多個(gè)TPU v4 Pods中高效地訓(xùn)練單個(gè)模型。Google Research在數(shù)百個(gè)語言理解和生成任務(wù)上對(duì)PaLM進(jìn)行了評(píng)估，發(fā)現(xiàn)它在大多數(shù)任務(wù)上都達(dá)到了最先進(jìn)的few-shot性能，在許多情況下都有很大的優(yōu)勢(shì)。

? ? ? ??這其中就包括解釋笑話的笑點(diǎn)在哪里。

? ? ? ??事實(shí)上，解釋笑話并非易事，這需要對(duì)多步邏輯推理、綜合知識(shí)和深層語言理解的復(fù)雜組合的場(chǎng)景生成明確的解釋。

? ? ? ??但是憑借著強(qiáng)大的語言處理能力，PaLM還是很好地勝任了這項(xiàng)任務(wù)。

? ? ? ??甚至是冷笑話(anti-joke)，PaLM也能很好地識(shí)別出來。比如別人問你，“斑馬和雨傘有什么區(qū)別？”你可能會(huì)期待什么有意思的回答，但是答案是“一個(gè)是和馬有關(guān)的有條紋的動(dòng)物，另一個(gè)是你用來阻止雨水落到你身上的裝置?！?/p>

? ? ? ??這種無厘頭的冷笑話，PaLM給出的解釋是：

這個(gè)笑話是一個(gè)冷笑話（anti-joke）。笑話的答案是顯而易見的，笑點(diǎn)在于你期待一個(gè)有趣的答案。

PaLM甚至能從emoji中猜出電影名字

? ? ? ??除了解釋笑話，PaLM在許多非常困難的任務(wù)上顯示出突破能力。

? ? ? ??Google Research對(duì)29項(xiàng)廣泛使用的英語自然語言處理(NLP)任務(wù)進(jìn)行了評(píng)估。在29個(gè)任務(wù)中的28個(gè)任務(wù)中，PaLM 540B超過了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，這些任務(wù)包括問答任務(wù)、完形填空和句子完成任務(wù)、 ?Winograd-style任務(wù)、上下文閱讀理解任務(wù)、常識(shí)推理任務(wù)、 SuperGLUE任務(wù)和自然語言推理任務(wù)。

? ? ? ??除了英語自然語言處理任務(wù)外，PaLM 在多語言自然語言處理基準(zhǔn)(包括翻譯)方面也表現(xiàn)出色，盡管只有22%的學(xué)習(xí)語料是非英語的。

? ? ? ??另外，研究人員還在最近發(fā)布的包含150多個(gè)新語言建模任務(wù)的Beyond the Imitation Game Benchmark(BIG-bench)上探討了PaLM的能力，并發(fā)現(xiàn)PaLM實(shí)現(xiàn)了突破性的性能。

? ? ? ??PaLM在幾個(gè)BIG-bench任務(wù)上展示了令人印象深刻的自然語言理解能力和生成能力。例如，該模型可以區(qū)分因果關(guān)系，在適當(dāng)?shù)谋尘跋吕斫飧拍罱M合，甚至可以從emoji中猜出電影名字。

? ? ? ??對(duì)于發(fā)展PaLM的未來愿景，Google AI Blog在報(bào)道中寫道，希望實(shí)現(xiàn)“一個(gè)單一的人工智能系統(tǒng)能夠概括成千上萬的任務(wù)，理解不同類型的數(shù)據(jù)，并以非凡的效率完成這些工作”。

參考報(bào)道：

https://www.vice.com/en/article/k7w9jv/google-is-teaching-ai-to-explain-your-jokes-to-you

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

https://arxiv.org/pdf/2204.02311v2.pdf

關(guān)注微信公眾號(hào)“語言服務(wù)行業(yè)”“翻譯技術(shù)教育與研究”，了解更多語言服務(wù)行業(yè)與翻譯技術(shù)相關(guān)的資訊和洞察~