最近，以ChatGPT為代表的大語(yǔ)言模型在多輪對(duì)話(huà)等任務(wù)上展現(xiàn)出強(qiáng)大的性能，大型語(yǔ)言模型似乎已成為通向通用人工智能的必經(jīng)之路。然而，模型量級(jí)與“智能”之間的關(guān)系仍然不得而知，普遍觀點(diǎn)認(rèn)為模型越大性能越強(qiáng)。但是隨著模型變大，模型推斷所需的顯存和時(shí)間也成倍增長(zhǎng)，計(jì)算代價(jià)十分高昂。以LLaMA-7B為例，翻譯一條100字左右的文本需要近7s，而使用相同的設(shè)備配置，不到1B的機(jī)器翻譯模型可在1s內(nèi)以相同精度翻譯長(zhǎng)達(dá)數(shù)百字的篇章。因此，在保證模型精度的前提下，探索降低計(jì)算代價(jià)的高效方法是十分必要的。那么，高效方法具體有哪些？又將如何降低模型內(nèi)存占用和計(jì)算代價(jià)？

本期報(bào)告將從傳統(tǒng)靜態(tài)模型壓縮方法和動(dòng)態(tài)模型加速方法兩個(gè)角度進(jìn)行講解，對(duì)大型語(yǔ)言模型相關(guān)的高效方法進(jìn)行總結(jié)。報(bào)告主要包括兩部分內(nèi)容，第一部分為剪枝、量化等模型壓縮方法，該類(lèi)方法以更小的靜態(tài)模型實(shí)現(xiàn)與大模型相似的推斷性能；第二部分以早退、混合專(zhuān)家等條件計(jì)算方法為主，該類(lèi)方法使用動(dòng)態(tài)激活的方式，僅激活部分大模型以降低模型的計(jì)算代價(jià)。

本期報(bào)告將于8月31日線上舉辦，屆時(shí)由來(lái)自東北大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室的單韋喬為我們帶來(lái)《模型壓縮與高效神經(jīng)網(wǎng)絡(luò)》報(bào)告，具體流程如下：

本次直播將分為兩部分進(jìn)行，第一部分為報(bào)告分享環(huán)節(jié)，第二部分為Q&A環(huán)節(jié)。在直播過(guò)程中，小伙伴可以把問(wèn)題發(fā)送到直播間中，并在Q&A環(huán)節(jié)與本期嘉賓深入探討；未被回復(fù)的問(wèn)題也可私信留言，在直播結(jié)束后我們會(huì)進(jìn)行解答。

本系列直播作為公益知識(shí)分享活動(dòng)，由東北大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室、小牛翻譯聯(lián)合推出，感謝AI科技評(píng)論、PaperWeekly、機(jī)器之心、并行科技對(duì)本次直播的大力支持，本次直播向所有聽(tīng)眾免費(fèi)開(kāi)放，無(wú)需注冊(cè)和報(bào)名繳費(fèi)。

參會(huì)觀眾可以在【視頻號(hào)（ID：小牛翻譯云平臺(tái)）、微博（ID：小牛翻譯）、嗶哩嗶哩（ID：小牛翻譯）、知乎（ID：小牛翻譯云平臺(tái)）、機(jī)器翻譯學(xué)堂（https://school.niutrans.com/live）】觀看直播，關(guān)注【機(jī)器翻譯學(xué)堂、小牛翻譯云平臺(tái)視頻號(hào)】即可觀看直播回放。

誠(chéng)邀所有關(guān)注自然語(yǔ)言處理與大模型技術(shù)發(fā)展的朋友走進(jìn)直播間，2023年8月31日（周四）18:30，我們期待與您的相遇！