視覺注意力機(jī)制綜述
Target of this course
?
01:30
?
?
01:42
?
?
01:59
?
QKV (Question-Knowledge-Value)
QKV 是一種注意力模型，它將輸入文本分解為三個(gè)部分：
- 問題（Question）：提出問題，以便更好地理解文本的意圖。
- 知識(shí)（Knowledge）：提取文本中的知識(shí)，以便更好地理解文本的內(nèi)容。
- 價(jià)值（Value）：提取文本中的價(jià)值，以便更好地理解文本的意義。
QKV 模型可以幫助 AI 系統(tǒng)更好地理解文本，從而更好地完成任務(wù)
What is attention
Common attentions
self-attention:
STN:
?
08:47
?
Deformable convolution:
?
10:23
?
CBAM 空間注意力
?
12:10
?
Attention的分類方式
?
15:02
?
Applications
transformer
視覺骨干網(wǎng)絡(luò)
?
17:43
?
局部感受域
長期相關(guān)性
空間適配性
通道適配性
LKC分成了三個(gè)部分：
DW、DW-D、1x1.
local、large range、channel
Self-surpervised Learning
?
25:01
?
Attention 自適應(yīng) tranfor learning
Potential directions
?
27:35
?
標(biāo)簽：
