本期為TechBeat人工智能社區(qū)第452期線上Talk！

北京時間11月9日(周三)20:00，微信AI高級研究員——蘇輝的Talk將準時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是:?“微信AI大規(guī)模預訓練語言模型WeLM”，屆時將詳細講解微信AI預訓練模型 WeLM 的實踐經驗以及背后的思考。

Talk·信息

主題：微信AI大規(guī)模預訓練語言模型WeLM

嘉賓：微信AI高級研究員蘇輝

時間：北京時間?11月9日?(周三) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復制鏈接https://datayi.cn/w/nPNJZVJP瀏覽器，一鍵完成預約！上線后會在第一時間收到通知哦

Talk·介紹

自 GPT3 以降，NLP大模型進展頗豐。相比小模型，大模型表現(xiàn)出的“零樣本/少樣本”學習能力眾所矚目。除此之外，在多語言(multilingual)/多任務等角度的探索也正在譜寫大模型百家爭鳴的新篇章。

本次talk介紹微信AI預訓練模型 WeLM 的實踐經驗以及背后的思考。WeLM, 一個學富五車(well-read)的10 Billion 模型，在零樣本以及少樣本的情境下能夠完成多種 NLP 任務（包括多語言任務），且進一步微調 WeLM 后能達到更好的零樣本學習能力。申請API后用戶可以利用 WeLM 生產數(shù)據(jù)/部署應用，讓大模型成為真正能落地且實用的工具，讓不可能三角變成可能。

• Motivation (為什么要訓練一個新的大模型)

• What is WeLM ?(WeLM可以做些什么)

• Inside of WeLM ?(架構選擇/數(shù)據(jù)/訓練細節(jié))

• Application development by Prompting (如何構造好的prompt、如何調用API)

• Multitask Finetuning (多任務Finetuning實踐)

• Others and the Future (未來展望)

Talk·預習資料

• WeLM官網 ?

  https://welm.weixin.qq.com/docs/

• WeLM: A Well-Read Pre-trained Language Model for Chinese ?

  https://arxiv.org/abs/2209.10372

Talk·提問交流

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

蘇輝，微信高級算法研究員，主要研究方向為大規(guī)模預訓練語言模型、對話系統(tǒng)、文本摘要、文本對抗/文本魯棒性；同時負責微信對話系統(tǒng)和微信安全等業(yè)務的產品落地；

在學術方面，蘇輝在ACL, EMNLP, AAAI等國際知名會議發(fā)表20余篇論文，累計引用次數(shù)超過1300次，多年擔任ACL，EMNLP，AAAI等國際頂級會議的審稿人。他在2018年于中科院軟件所獲得工學碩士學位。

個人主頁：http://huisu.me/

-The End-

關于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。 期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ