來(lái)源：投稿?作者：cairuyi01

原文：公眾號(hào)【學(xué)姐帶你玩AI】

最近讀了《Object detection with location-aware deformable convolution and backward attention filtering》，這是?篇2019年刊登在CVPR上的CV論?。與解決普適性的CV任務(wù)不同，作者CHEN ZHANG和JOOHEE KIM希望解決的是?動(dòng)駕駛中計(jì)算機(jī)視覺(jué)的?標(biāo)檢測(cè)問(wèn)題，如何檢測(cè)距離攝像頭較遠(yuǎn)的交通參與者，以及如何檢測(cè)到互動(dòng)的交通參與者。

這篇論?究竟想解決什么樣的問(wèn)題

?先，我們來(lái)看?個(gè)典型的交通場(chǎng)景，如上圖，有?個(gè)架設(shè)在?動(dòng)駕駛?輛上的攝像頭，從攝像頭的?度來(lái)看，會(huì)看到路?上的各種道路使?者和交通參與者，典型的類別包括了：??，???，汽?。對(duì)于（a）和（b），我們發(fā)現(xiàn)本篇論?建議的模型，它能?Faster R-CNN多檢測(cè)出了??背后的???，以及兩輛距離較遠(yuǎn)的汽?。對(duì)！參考圖即便??眼也較難發(fā)現(xiàn)的?標(biāo)，論?建議的模型也檢測(cè)出來(lái)了，這有什么意義？

汽?在?速?駛，這?秒距離還?較遠(yuǎn)的交通參與者，在下?秒可能就在?前了

汽?在?速地?駛，在城市道路上?擁堵時(shí)，會(huì)以時(shí)速約40-60KM前進(jìn)，這意味著，這?秒距離還?較遠(yuǎn)的交通者，在下?秒就會(huì)來(lái)到?前了。要避免交通事故的發(fā)現(xiàn)，我們必須提前檢測(cè)到他的存在。?當(dāng)交通參與者距離攝像頭較遠(yuǎn)時(shí)，往往他的外觀都會(huì)?較?。

交通參與者之間存在互動(dòng)，被遮擋的交通參與者容易造成漏檢的情況

交通參與者在道路上總是運(yùn)動(dòng)著的，他們的?些交互和互動(dòng)往往會(huì)導(dǎo)致交通狀況的不確定性。試想?下，前?距離很近的兩輛?正在?駛，此時(shí)因?yàn)樗麄兙植恐丿B?造成漏檢。在下?個(gè)時(shí)刻，被漏檢的?輛忽然打燈切線更換?道，這就很容易造成事故，因?yàn)槟?直追蹤的?標(biāo)并未與你發(fā)?相對(duì)位置的變動(dòng)，?現(xiàn)在忽然多出來(lái)?個(gè)?標(biāo)，并且??出現(xiàn)在了?前。

?這輛漏檢的汽?，被前?遮擋后只有局部的外觀能被看到。再如，斑?線上的??指示燈正在由?轉(zhuǎn)紅，道路指示燈正在由紅轉(zhuǎn)綠，計(jì)算機(jī)視覺(jué)檢測(cè)到三五個(gè)??的?群已經(jīng)基本靜?，于是準(zhǔn)備發(fā)動(dòng)?輛。此時(shí)，被?群遮擋的???忽然駛出，沖到了道路上。悲劇的是，由于?直沒(méi)有感知到???的存在，突如其來(lái)的交通情況極其容易造成事故。?這輛被?群遮擋的???，往往是在那三五?群間隙中只露出了局部外觀。

檢測(cè)需求和?臨的問(wèn)題

上?談及的兩個(gè)檢測(cè)需求，?標(biāo)都?較?，他們要么遠(yuǎn)離攝像頭，要么被其他交通參與者遮擋了只露出了局部的外觀。要檢測(cè)到他們，就需要在較?分辨率的特征圖中進(jìn)?，這樣才能保證有?夠的空間信息。

但，這是?個(gè)兩難的問(wèn)題：

1）在深度神經(jīng)?絡(luò)中，較?層級(jí)的特征圖具備更豐富的語(yǔ)義，更容易歸納?標(biāo)的特征，易于分類，但是，它過(guò)低的分辨率?會(huì)導(dǎo)致??標(biāo)在特征圖上消失，難以作出有效定位。這樣?來(lái)，簡(jiǎn)單地使??層級(jí)的特征圖并不能滿?檢測(cè)需求。

2）如果我們使?淺層的特征圖，那么空間信息是?夠了，對(duì)定位帶來(lái)了幫助，但是粗糙的特征提取?使得分類任務(wù)難以被滿?。再者，我們并不能保證測(cè)試集和訓(xùn)練集中背景內(nèi)容具備同質(zhì)性，于是，更?的受視野才能有?夠的上下信息幫助感知?標(biāo)的存在與否。這樣?來(lái)，簡(jiǎn)單地使?淺層級(jí)的特征圖并不能滿?檢測(cè)需求。

那么，如何是好呢？下?，我們來(lái)看看作者在論?中建議的模型是如何解決這些局限性，滿?檢測(cè)需求的。

作者使?的baseline?絡(luò)

作者使?的是Faster R-CNN作為baseline?絡(luò)的，它由以下的?個(gè)部分組成：

1）conv layers，使?諸如VGG，ResNet，MobileNet，GoogleNet，Inception ResNet等的backbone?絡(luò)對(duì)圖像進(jìn)?特征的提取。

2）利?backbone提取的特征圖，輸?到Region Proposal Network（RPN），得到若?個(gè)的Region Proposal。

3）根據(jù)Region Proposal的坐標(biāo)映射到第?步得到的特征圖中，會(huì)得到?個(gè)個(gè)感興趣的區(qū)域（ROI，Region of interesting）。這些區(qū)域會(huì)經(jīng)由ROI Pooling統(tǒng)?為固定的??尺?，放進(jìn)后續(xù)的?絡(luò)中進(jìn)?分類預(yù)測(cè)和錨框回歸，得到最終的檢測(cè)結(jié)果。

在論?中，作者是以此作為baseline，并在這個(gè)基礎(chǔ)上修改了backbone，以及加?了neck。

對(duì)backbone的修改

設(shè)計(jì)思路

在論?中，作者是使?VGG16作為baseline的backbone，它可以被更換為上?提及的其他backbone。

在實(shí)驗(yàn)中，作者選擇了VGG16和ResNet18，主要考慮了?動(dòng)駕駛中?標(biāo)檢測(cè)往往對(duì)實(shí)時(shí)性有所要求。

VGG16的?絡(luò)架構(gòu)如上圖，它在每?層卷積層中?標(biāo)準(zhǔn)的3*3卷積核進(jìn)?卷積操作，逐?提取特征，每層輸出的特征圖?于下?層的輸?。

由于上?提及的問(wèn)題：

1）?標(biāo)在互動(dòng)過(guò)程中可能產(chǎn)?變形（?為的動(dòng)作變化）。

2）?標(biāo)產(chǎn)?遮擋，有意義的外觀只是局部（露出的局部可能是不規(guī)整的）。

于是，采?標(biāo)準(zhǔn)的3*3卷積核采樣會(huì)弱化了待檢測(cè)?標(biāo)的特征濃度，作者提出了Location-aware deformable convolution（位置感知的可變形卷積）。

前置知識(shí)-Deformable convolutional（可變形卷積）

從上圖中我們可以看到，（a）是標(biāo)準(zhǔn)的3*3卷積，與之相對(duì)的，（b）是可變形的卷積，采樣的點(diǎn)可以根據(jù)需要進(jìn)?偏移，按需進(jìn)?采樣。（c）和（d）是兩種特殊情況，其中，（c）的變形?式使得采樣相當(dāng)于增?了受視野，?（d）的變形?式則是使得采樣相當(dāng)于進(jìn)?旋轉(zhuǎn)。

以兩層卷積層的采樣過(guò)程為例，標(biāo)準(zhǔn)3*3卷積采取固定的空間位置進(jìn)?采樣，?可變形的3*3卷積則是每層中根據(jù)感興趣的空間位置進(jìn)?了采樣。誠(chéng)然，在最后的特征圖表征上，變形的3*3卷積得到的語(yǔ)義更加豐富。

具體的實(shí)現(xiàn)上，在input feature map之后進(jìn)?可變形卷積之前會(huì)同時(shí)建??個(gè)?絡(luò)分?，這個(gè)分?會(huì)利??個(gè)卷積層學(xué)習(xí)可變卷積核中每個(gè)采樣點(diǎn)的位置偏移。值得注意的是，這個(gè)分??絡(luò)上的卷積層所采?的是與可變形卷積受視野?致的標(biāo)準(zhǔn)卷積核，換句話來(lái)說(shuō)，如果可變形卷積核計(jì)劃?膨脹率為1的3*3的卷積核。

綜上所述，完成了?個(gè)可變卷積的過(guò)程。

Location-aware deformable convolution（位置感知的可變形卷積）在有了可變形卷積的前置知識(shí)后，下?我們來(lái)看看作者在論?中建議的位置感知的可變形卷積。看看他在可變形卷積的基礎(chǔ)上做了那些改變，?起到了哪些作?。

學(xué)習(xí)偏移量的卷積層使?的卷積核，可以和位置感知的可變形卷積核有不同的受視野在input feature map之后進(jìn)?可變形卷積之前所建?的?絡(luò)分?上。

1）可變形卷積?絡(luò)中，如果計(jì)劃使?的可變形卷積核是膨脹率為1的3*3卷積核，那么學(xué)習(xí)偏移量的卷積核也必須是使?標(biāo)準(zhǔn)的3*3卷積核；

2）位置感知的可變形卷積?絡(luò)中，雖然計(jì)劃使?的可變卷積核是膨脹率為2的3*3卷積核，但是學(xué)習(xí)偏移量的卷積核依然可以隨意選擇??的受視野，例如下圖中，是使?標(biāo)準(zhǔn)的3*3卷積核。

由于位置感知的可變形卷積核本身和學(xué)習(xí)它的偏移量的卷積核在受視野上進(jìn)?了解耦，于是，在學(xué)習(xí)偏移量的過(guò)程中可以更靈活，這促使了?絡(luò)更容易得到最優(yōu)解。

在學(xué)習(xí)每個(gè)采樣點(diǎn)的偏移量時(shí)，卷積運(yùn)算的中?點(diǎn)以采樣點(diǎn)為基礎(chǔ)

在使?卷積核進(jìn)?卷積運(yùn)算學(xué)習(xí)偏移量時(shí)：

1）可變形卷積?絡(luò)中，學(xué)習(xí)偏移量的卷積操作是以當(dāng)前input feature map的輸?樣本點(diǎn)為中?的。

例如，假設(shè)當(dāng)前坐標(biāo)為（0，0），那么它的9個(gè)偏移量都是以（0，0）作為中?點(diǎn)進(jìn)?卷積操作的。

2）位置感知的可變形卷積?絡(luò)中，學(xué)習(xí)偏移量的卷積操作是以可變性卷積核的采樣點(diǎn)為中?的。

例如，假設(shè)當(dāng)前坐標(biāo)為（0，0），根據(jù)膨脹率為2的情況下，那么它的9個(gè)偏移量都是以對(duì)應(yīng)（0，0）（-2，-2）（-2，0）（-2，2）（0，-2）（0，2）（-2，2）（0，2）（2，2）的9個(gè)采樣點(diǎn)作為中?點(diǎn)進(jìn)?卷積操作的。

把位置感知的可變形卷積整合到VGG16中

位置感知的可變形卷積將被整合到VGG16的Conv3-3，Conv4-3，Conv5-3中。

在整合時(shí)，VGG16原來(lái)的標(biāo)準(zhǔn)3*3卷積是保留的，在此基礎(chǔ)上，再添加?個(gè)位置感知的可變形卷積分?：

?先把標(biāo)準(zhǔn)3*3卷積分?的輸出和位置感知的可變形卷積分?的輸出按照通道進(jìn)?拼接，然后，再使??個(gè)1*1的卷積層將它們進(jìn)?步融合。

由于后續(xù)的后向注意?過(guò)濾的需要，在VGG16常規(guī)的Conv5之后還添加?個(gè)Conv6的卷積層，在Pooling后，Conv6的feature map相?Conv5再縮??倍。

?此，作者就對(duì)backbone?絡(luò)的改造就完成了，他要解決的是?標(biāo)與環(huán)境互動(dòng)產(chǎn)?外觀變形或局部被遮擋時(shí)導(dǎo)致外觀不規(guī)整時(shí)，卷積能針對(duì)?標(biāo)的空間位置有更靈活的采樣，使得特征提取更有意義。

從作者的實(shí)驗(yàn)中，我們也可以 看到，采取位置感知的可變形卷積（Method B）要?標(biāo)準(zhǔn)卷積（Method C）和可變形卷積（Method A）有更?的檢測(cè)準(zhǔn)確率。

添加neck?絡(luò)——后向注意?過(guò)濾（backward attention filtering）

設(shè)計(jì)思路

要進(jìn)???標(biāo)的檢測(cè)，對(duì)?分辨率的特征圖是有嚴(yán)重依賴的，因?yàn)橹挥刑卣鲌D上有?夠的空間信息，??標(biāo)才能被檢測(cè)出來(lái)。不過(guò)，如果我們直接使?淺層的?分辨率特征圖，它們雖然有?夠的空間信息，但同時(shí)?擾的信息也多，這對(duì)于模型?絡(luò)后續(xù)的分類預(yù)測(cè)和錨框回歸也帶來(lái)不少負(fù)?作?。

作者提出了?種后向注意?過(guò)濾的?法，他希望利?深層?絡(luò)中富有語(yǔ)義的特征圖作為過(guò)濾器對(duì)相對(duì)淺層的特征圖進(jìn)?過(guò)濾，把?擾的背景信息逐?濾除，留下當(dāng)前分辨率特征圖該有的?標(biāo)信息。這樣?來(lái)，每個(gè)分辨率的特征圖送?后續(xù)的檢測(cè)??絡(luò)，都能得到不錯(cuò)的，對(duì)應(yīng)該分辨率的?標(biāo)檢測(cè)效果。

后向注意?過(guò)濾的原理

建?過(guò)濾器

作者是使?深層的特征圖作為基礎(chǔ)進(jìn)?濾波器的制作的。以Conv6為例，它的輸出將被?作Conv5的過(guò)濾器。作為過(guò)濾器，作者需要：

1）把它的特征圖取值范圍映射到（0，1）之間，如此?來(lái)，后續(xù)與?標(biāo)特征圖進(jìn)?相乘時(shí)，可以起到越接近0，?標(biāo)特征圖該處的特征被抹除，越接近1，?標(biāo)特征圖該處的特征被保留的作?。

2）Conv6的feature map相?Conv5縮?了?倍，于是，接下來(lái)還需要做?次upsample（上采樣），使得濾波器特征圖還原到與Conv5的feature map?樣的??，如此?來(lái)，后續(xù)的逐像素相乘才能??對(duì)應(yīng)。

進(jìn)?過(guò)濾操作

作者利?濾波器特征圖與?標(biāo)特征圖進(jìn)?相乘，同時(shí)，?標(biāo)特征圖再做了?次skip，逐像素相加到相乘的結(jié)果之上。

加?skip的?的應(yīng)該是借鑒了ResNet設(shè)計(jì)的思路，作為最后的學(xué)習(xí)保障，這個(gè)過(guò)濾層可以在學(xué)習(xí)?果時(shí)不起任何作?。這?選擇交由模型?絡(luò)??決策。最后，整個(gè)后向注意?濾波的計(jì)算公式為：

添加后向注意?過(guò)濾后的模型

可以看到，整個(gè)過(guò)濾的過(guò)程是從深層?絡(luò)?步?步向淺層遞進(jìn)的。每次過(guò)濾后的特征圖???會(huì)作為下?個(gè)淺層特征圖過(guò)濾的過(guò)濾器，過(guò)濾三次后送進(jìn)RPN進(jìn)?錨框的?成，另外???也會(huì)送進(jìn)ROI Pooling中，為最后?步的分類預(yù)測(cè)和錨框回歸作準(zhǔn)備。

head?絡(luò)——接上Faster R-CNN的detector

后向注意?過(guò)濾之后，?絡(luò)會(huì)把過(guò)濾后的特征圖送進(jìn)?檢測(cè)?絡(luò)中。

1）送?RPN?絡(luò)的特征圖，是三次過(guò)濾后的特征圖，它擁有較?的分辨率，也就具備了?夠的空間信息。在它的基礎(chǔ)上進(jìn)?錨框的?成將有利于把不同尺度的?標(biāo)進(jìn)?初定位。

2）根據(jù)?成的Region proposal，提取不同分辨率特征圖上對(duì)應(yīng)的區(qū)域進(jìn)?ROI Pooling，此時(shí)，不同層級(jí)的特征圖擁有不同受視野的語(yǔ)義，在之后的分類預(yù)測(cè)和錨框回歸中起到?常好的正?作?。

由上圖我們可以看到，過(guò)濾了?擾信息后，RPN只需要?成更少的錨框，就能使得平均準(zhǔn)確率?之前?，這也就意味著，此時(shí)模型中的RPN能?成質(zhì)量更?的錨框。

最后，我們可以看到，作者把他建議的模型與當(dāng)時(shí)的其他具有最佳性能的檢測(cè)模型在PASCAL?VOC2017測(cè)試集上進(jìn)?了對(duì)?，其檢測(cè)性能僅次于FPN，取得了?常有競(jìng)爭(zhēng)?的結(jié)果。

?值得注意的是，作者建議的模型在運(yùn)?性能上?常優(yōu)秀，Runtime僅為0.22 sec（backbone?VGG16）和0.14 sec（backbone ResNet18），為?動(dòng)駕駛領(lǐng)域提供了?效運(yùn)?的性能?持。

結(jié)論

在?動(dòng)駕駛領(lǐng)域，交通參與者的檢測(cè)是計(jì)算機(jī)視覺(jué)關(guān)?的話題。由于這些交通參與者者需要提前被感知，此時(shí)，他們因?yàn)檫h(yuǎn)離攝像頭?顯得外觀較?；同時(shí)，這些交通參與者可能因?yàn)榛?dòng)?為或者被遮擋導(dǎo)致了外觀的變形或不規(guī)整，?露出的外觀也可能是較?的，這些都成為了?標(biāo)檢測(cè)中的難題。

作者建議的模型，通過(guò)使?位置感知的可變形卷積解決了?標(biāo)與環(huán)境互動(dòng)產(chǎn)?外觀變形或局部被遮擋時(shí)導(dǎo)致外觀不規(guī)整時(shí)，卷積能針對(duì)?標(biāo)的空間位置有更靈活的采樣，使得特征提取更有意義。同時(shí)，通過(guò)后向注意?過(guò)濾的?法，利?深層?絡(luò)中富有語(yǔ)義的特征圖作為過(guò)濾器對(duì)相對(duì)淺層的特征圖進(jìn)?過(guò)濾，把?擾的背景信息逐?濾除，留下當(dāng)前分辨率特征圖該有的?標(biāo)信息。借此平衡了淺層特征圖有?夠空間信息但語(yǔ)義不強(qiáng)，?深層特征圖有豐富語(yǔ)義但缺乏空間信息的問(wèn)題，??標(biāo)的檢測(cè)也能在逐層過(guò)濾中得到更?質(zhì)量的檢測(cè)。

最終，截?論?發(fā)表時(shí)，作者建議的模型在保證了運(yùn)?性能的同時(shí)，檢測(cè)性能上取得良好表現(xiàn)，其檢測(cè)性能僅次于FPN，取得了?常有競(jìng)爭(zhēng)?的結(jié)果。

—?完?—

點(diǎn)這里關(guān)注我??，記得標(biāo)星哦～

一鍵「點(diǎn)贊」和「評(píng)論」點(diǎn)贊的情誼學(xué)姐銘記在心~