本周為TechBeat人工智能社區(qū)第296期線上Talk。

北京時間4月20日(周二)晚8點，新加坡國立大學(xué)在讀博士—周大權(quán)的Talk將準(zhǔn)時在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “邁向更深的Vision Transformer”，屆時將介紹有關(guān)深度學(xué)習(xí)，模型架構(gòu)，Vision Transformer的相關(guān)研究與近期的一些進展和思考。

Talk·信息

▼

主題：邁向更深的Vision Transformer

嘉賓：新加坡國立大學(xué)在讀博士 周大權(quán)

時間：北京時間?4月20日 (周二) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接 https://datayi.cn/w/39lMAODR?至瀏覽器，一鍵完成預(yù)約！上線后會在第一時間收到通知哦~

Talk·提綱

▼

最近研究表明，在沒有domain inductive bias的情況下，Transformer也可以在視覺任務(wù)中取得和CNN相匹配的效果。然而如何基于已有的Vision Transformer提升性能仍未很好地被探索。在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中廣泛使用的深度縮放，在Transformer 網(wǎng)絡(luò)中是否依然有效？

本次分享的主要內(nèi)容如下：

1. Transformer在視覺分類任務(wù)中的應(yīng)用

2. 現(xiàn)有的Vision Transformer架構(gòu)總結(jié)

3. 訓(xùn)練有深度的Vision Transformer

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預(yù)習(xí)哦！[1]?DeepViT: Towards Deeper Vision Transformerhttps://arxiv.org/abs/2103.11886

[2]?An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale?

https://openreview.net/forum?id=YicbFdNTTy

[3]?Deep Residual Learning for Image Recognition

https://arxiv.org/abs/1512.03385

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

周大權(quán)，NUS 數(shù)據(jù)科學(xué)深度學(xué)習(xí)方向三年級博士生，師從馮佳時教授。研究方向是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的架構(gòu)設(shè)計，壓縮優(yōu)化與自動搜索。他在ICLR， ECCV，ICCV，CVPR，NeruIPS等計算機視覺與機器學(xué)習(xí)頂會發(fā)表多篇論文。其工作曾被機器之心等媒體報道。他曾參與設(shè)計新加坡第一個商業(yè)人造衛(wèi)星的研發(fā)。

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ