本周為TechBeat人工智能社區(qū)第300期線上Talk，也是ICLR 2021系列Talk第⑨期。北京時(shí)間4月29日(周四)晚8點(diǎn)，清華大學(xué)在讀博士—王語(yǔ)霖的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！他與大家分享的主題是: “局部監(jiān)督學(xué)習(xí)：深度神經(jīng)網(wǎng)絡(luò)的'淺度'訓(xùn)練方法”，屆時(shí)將介紹有關(guān)局部監(jiān)督學(xué)習(xí)、計(jì)算機(jī)視覺、高效訓(xùn)練算法的相關(guān)研究與近期的一些進(jìn)展和思考。

不知不覺，我們的線上Talk已經(jīng)第300期啦??！為了感謝大家五年來的支持，我們準(zhǔn)備了一些小禮物??，獲取方式請(qǐng)見文末~

Talk·信息

▼

主題：?局部監(jiān)督學(xué)習(xí)——

?深度神經(jīng)網(wǎng)絡(luò)的“淺度”訓(xùn)練方法

嘉賓：清華大學(xué)在讀博士 王語(yǔ)霖

時(shí)間：北京時(shí)間?4月29日 (周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接 https://datayi.cn/w/a9BDKzGP 至瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦~

Talk·提綱

▼

盡管端到端訓(xùn)練在大量任務(wù)中取得了穩(wěn)定和良好的效果，但其效率至少在以下兩方面仍有待提升。其一，在網(wǎng)絡(luò)前傳時(shí)，需要將每一層的輸出進(jìn)行存儲(chǔ)，這造成了極大的顯存開銷。其二，對(duì)網(wǎng)絡(luò)進(jìn)行前傳-->反傳的范式是一個(gè)固有的線性過程，很難進(jìn)行并行化以進(jìn)一步的提升效率。

本次分享的主要內(nèi)容如下：講者將介紹一種比目前廣為使用的端到端訓(xùn)練模式顯存開銷更小、更容易并行化的訓(xùn)練方法：局部監(jiān)督學(xué)習(xí)，即將網(wǎng)絡(luò)拆分成若干段、使用局部監(jiān)督信號(hào)進(jìn)行訓(xùn)練。

我們首先指出了這一范式的一大缺陷在于損失網(wǎng)絡(luò)整體性能，進(jìn)而從信息的角度闡明，其癥結(jié)在于局部監(jiān)督傾向于使網(wǎng)絡(luò)在淺層損失對(duì)深層網(wǎng)絡(luò)有很大價(jià)值的任務(wù)相關(guān)信息。最后，為有效解決這一問題，我們提出了一種局部監(jiān)督學(xué)習(xí)算法：InfoPro。

在圖像識(shí)別和語(yǔ)義分割任務(wù)上的實(shí)驗(yàn)結(jié)果表明，我們的算法可以在不顯著增大訓(xùn)練時(shí)間的前提下，有效節(jié)省顯存開銷，并提升性能。

Talk·參考資料

▼

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！

論文解讀：

ICLR 2021 | 顯存不夠？不妨拋棄端到端訓(xùn)練（點(diǎn)擊閱讀）

OpenReview文章：

https://openreview.net/forum?id=fAbkE6ant2

代碼：

https://github.com/blackfeather-wang/InfoPro-Pytorch

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

王語(yǔ)霖，清華大學(xué)自動(dòng)化系二年級(jí)直博生，導(dǎo)師為吳澄院士和黃高助理教授。此前于北京航空航天大學(xué)自動(dòng)化學(xué)院獲工學(xué)學(xué)士學(xué)位。研究興趣為深度學(xué)習(xí)模型的高效訓(xùn)練和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等國(guó)際一流期刊、會(huì)議上發(fā)表學(xué)術(shù)論文。

?互動(dòng)福利！

在評(píng)論區(qū)留言【最喜歡】

或者【印象最深】的Talk及原因

點(diǎn)贊數(shù)最高的五位將每人分別獲得

將門AI is the New Sexy帽衫1件與將門定制口罩5個(gè)

（互動(dòng)時(shí)間截止至4月29日下午16:00）

只送不賣沒地兒買

快來參與領(lǐng)福利啦~

ICLR 2021 系列Talk

▼

第①?gòu)?/strong>

第②彈

第③彈

第④彈

第⑥彈

第⑦彈

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！