深度學(xué)習(xí)多模態(tài)情感識別13
2023-03-01 14:52 作者:bili_1534047163 | 我要投稿
NIMO
目的：之眼集成單模態(tài)和多模態(tài)結(jié)果的預(yù)訓(xùn)練模型，在多模態(tài)任務(wù)上表現(xiàn)不錯(cuò)，在單模態(tài)任務(wù)上，效果也不會下降太多；
數(shù)據(jù)增強(qiáng)：通過text rewriting，text/image retrieval 增強(qiáng)正負(fù)樣本。
UNITER
目的：構(gòu)建一個(gè)統(tǒng)一的圖文學(xué)習(xí)框架，適用于各種圖文任務(wù)；
分別對圖文做embedding，經(jīng)過Layer Normalization進(jìn)入transformer；
提出conditional masking和OT-based WRA預(yù)訓(xùn)練任務(wù)。
標(biāo)簽：
