本周為TechBeat人工智能社區(qū)第291期線上Talk，這也是ICLR 2021 系列Talk第②彈。北京時(shí)間4月7日(周三)晚8點(diǎn)，微軟亞洲研究院實(shí)習(xí)研究員、北京大學(xué)在讀碩士—吳奇宇的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！他與大家分享的主題是: “預(yù)訓(xùn)練語言模型中的訓(xùn)練數(shù)據(jù)和位置編碼相關(guān)研究”，屆時(shí)將基于ICLR 2021的兩篇論文，分別從訓(xùn)練數(shù)據(jù)和位置編碼兩個(gè)方面介紹語言模型預(yù)訓(xùn)練加速上的最新進(jìn)展。

Talk·信息

▼

主題：預(yù)訓(xùn)練語言模型中的

訓(xùn)練數(shù)據(jù)和位置編碼相關(guān)研究

嘉賓：微軟亞洲研究院實(shí)習(xí)研究員

北京大學(xué)在讀碩士?吳奇宇

時(shí)間：北京時(shí)間?4月7日 (周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接 https://datayi.cn/w/nP2vprLP?至瀏覽器，一鍵完成預(yù)約！上線后會在第一時(shí)間收到通知哦~

Talk·提綱

▼

BERT等預(yù)訓(xùn)練語言模型在自然語言處理領(lǐng)域發(fā)揮出巨大的作用，但訓(xùn)練語言模型的成本通常十分昂貴，因此加速語言預(yù)訓(xùn)練十分重要。本分享基于ICLR 2021的兩篇論文，分別從訓(xùn)練數(shù)據(jù)和位置編碼兩個(gè)方面介紹我們在語言模型預(yù)訓(xùn)練加速上的最新進(jìn)展。

本次分享的主要內(nèi)容如下：

1. 語言模型預(yù)訓(xùn)練的計(jì)算瓶頸

2. 從訓(xùn)練數(shù)據(jù)角度優(yōu)化預(yù)訓(xùn)練：

《Taking Notes on the Fly Helps Language Pre-Training》，ICLR 2021

3. 從位置編碼角度優(yōu)化預(yù)訓(xùn)練：

《Rethinking Positional Encoding in Language Pre-training》，ICLR 2021

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預(yù)習(xí)哦！

1.《Taking Notes on the Fly Helps Language Pre-Training》，ICLR 2021

https://openreview.net/pdf?id=lU5Rs_wCweN

2.《Rethinking Positional Encoding in Language Pre-training》，ICLR 2021https://openreview.net/forum?id=09-528y2Fgf

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

吳奇宇，微軟亞洲研究院實(shí)習(xí)研究員，北京大學(xué)在讀碩士。研究方向?yàn)樽匀徽Z言處理和文本數(shù)據(jù)挖掘。目前正在研究的課題是自然語言處理中的預(yù)訓(xùn)練。已在ICLR，AAAI等會議上發(fā)表論文。

ICLR系列Talk

▼

*點(diǎn)擊標(biāo)題跳轉(zhuǎn)詳情

第①彈

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個(gè)薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ