咕泡P5:人工智能CV+NLP技術(shù)項目實戰(zhàn)
多模態(tài)(MultiModal?)
多種不同的信息源(不同的信息形式)已報名咕泡ai底部評 中獲取信息
五個挑戰(zhàn)
表示(Multimodal Representation)的意思,比如shift旋轉(zhuǎn)尺寸不變形,圖像中研究出的一種表示
表示的冗余問題
不同的信號,有的象征性信號,有波信號,什么樣的表示方式方便多模態(tài)模型提取信息
表示的方法
聯(lián)合表示將多個模態(tài)的信息一起映射到一個統(tǒng)一的多模態(tài)向量空間
協(xié)同表示負(fù)責(zé)將多模態(tài)中的每個模態(tài)分別映射到各自的表示空間,但映射后的向量之間滿足一定的相關(guān)性約束。

標(biāo)簽: