本周為將門-TechBeat技術(shù)社區(qū)第271期線上Talk，也是字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室系列Talk第⑥彈！

北京時(shí)間1月6日(周三)晚8點(diǎn)，字節(jié)跳動(dòng)算法工程師—宋宇軒的Talk將準(zhǔn)時(shí)在將門TechBeat技術(shù)社區(qū)開播！

他與大家分享的主題是:?“通過概率密度比估計(jì)來提高文本生成模型的訓(xùn)練與采樣”。屆時(shí)將會(huì)分享他和團(tuán)隊(duì)從概率密度比估計(jì)出發(fā)提出的一種新的文本生成訓(xùn)練及采樣方法：利用概率密度比來構(gòu)建更好的訓(xùn)練及采樣目標(biāo)，實(shí)現(xiàn)穩(wěn)定的訓(xùn)練和更有效的采樣。

Talk·信息

▼

主題：通過概率密度比估計(jì)

來提高文本生成模型的訓(xùn)練與采樣

嘉賓：字節(jié)跳動(dòng)算法工程師 宋宇軒

時(shí)間：北京時(shí)間?1月6日 (周三) 20:00

地點(diǎn)：將門TechBeat技術(shù)社區(qū)

http://www.techbeat.net/

長按識(shí)別二維碼，一鍵完成預(yù)約！

Talk·提綱

▼

人們希望用更先進(jìn)的生成模型或訓(xùn)練方法來提高改進(jìn)文本生成的訓(xùn)練，以改進(jìn)自回歸生成模型的潛在缺欠（如模式覆蓋, 暴露偏差等）。因此，基于對(duì)抗訓(xùn)練等文本生成模型會(huì)遇到的嚴(yán)重模式塌陷以及訓(xùn)練不穩(wěn)定等問題，字節(jié)跳動(dòng)AI Lab算法工程師宋宇軒及其團(tuán)隊(duì)從概率密度比估計(jì)出發(fā)，提出了一種新的文本生成訓(xùn)練及采樣方法，利用概率密度比來構(gòu)建更好的訓(xùn)練及采樣目標(biāo)，實(shí)現(xiàn)穩(wěn)定的訓(xùn)練和更有效的采樣。

本次分享的主要內(nèi)容如下：

1. 背景介紹：深度生成模型及其在文本生成的挑戰(zhàn)

2. 基于概率密度比估計(jì)提高文本生成的訓(xùn)練

3.?基于密度裁剪和蒙特卡洛方法提高大規(guī)模預(yù)訓(xùn)練語言模型的生成

4. 總結(jié)

Talk·參考資料

▼

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！

1. Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

http://proceedings.mlr.press/v108/song20a.html

2. Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods

https://www.aclweb.org/anthology/2020.acl-main.314.pdf

Talk·提問交流

▼

方式 ①

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！問題被選中的小伙伴們將獲得一個(gè)紅包獎(jiǎng)勵(lì)！

方式 ②

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，說不定就被講者直接翻牌解答了呢！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，近期還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

嘉賓介紹

▼

宋宇軒，畢業(yè)于上海交通大學(xué)APEX數(shù)據(jù)與知識(shí)管理實(shí)驗(yàn)室，主要研究方向?yàn)樯疃壬赡Ｐ鸵约捌湓谖谋旧芍械膽?yīng)用，曾在AISTATS、ICML、ICLR等會(huì)議上發(fā)表論文。

長按識(shí)別二維碼，一鍵完成預(yù)約！

關(guān)于TechBeat社區(qū)

▼

TechBeat(www.techbeat.net)是一個(gè)薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！? ? ? ? ? ? ?

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/RNjjDygs0z0WoPRpDhYXKg