論文原文：3DSSD： Point－based 3D Single Stage Object Detector

作者：Zetong Yang，Yanan Sun，Shu Liu，Jiaya Jia

發(fā)表會(huì)議：CVPR 2020

基于體素的 3D 單階段檢測(cè)器的普及率與未開(kāi)發(fā)的基于點(diǎn)的方法形成對(duì)比。在本文中，作者提出了一種輕量級(jí)的基于點(diǎn)的 3D 階段目標(biāo)檢測(cè)器 3DSSD，以實(shí)現(xiàn)準(zhǔn)確性和效率的良好平衡。在這種范例中，所有現(xiàn)有的基于點(diǎn)的方法中必不可少的上采樣層和優(yōu)化階段都將被放棄。相反，在下采樣過(guò)程中提出一種融合采樣策略，以使在代表性較小的點(diǎn)上進(jìn)行檢測(cè)變得可行。本文為了滿(mǎn)足高精度和高速度的要求，開(kāi)發(fā)了一種精細(xì)的框預(yù)測(cè)網(wǎng)絡(luò)，其中包括候選生成層和具有 3D 中心度分配策略的無(wú)錨回歸頭。3DSSD 范例是一種優(yōu)雅的單階段免錨模式，在廣泛使用的 KITTI 數(shù)據(jù)集和更具挑戰(zhàn)性的 nuScenes 數(shù)據(jù)集上對(duì)其進(jìn)行評(píng)估，本文的方法大大優(yōu)于所有基于體素的單階段方法，甚至可以產(chǎn)生與兩階段基于點(diǎn)的方法相當(dāng)?shù)男阅埽�推理速度高達(dá) 25＋ FPS，比以前的最先進(jìn)的基于點(diǎn)的方法快 2 倍。

論文背景

3D 畫(huà)面理解對(duì)于包括自動(dòng)駕駛和增強(qiáng)現(xiàn)實(shí)在內(nèi)的許多應(yīng)用都起到了促進(jìn)，本文聚焦于 3D 的目標(biāo)檢測(cè)，即預(yù)測(cè)點(diǎn)云表示的3D目標(biāo)的邊緣框及其類(lèi)別標(biāo)簽。

2D 的目標(biāo)檢測(cè)已經(jīng)有了很大突破，但無(wú)法直接將其方法應(yīng)用到 3D 的場(chǎng)景中。與 2D 的圖片相比，點(diǎn)云更加稀疏無(wú)序，而且對(duì)于局部特征十分敏感，這使得我們很難使用 CNN 進(jìn)行學(xué)習(xí)，因此 3D 的目標(biāo)檢測(cè)的主要問(wèn)題就是如何利用點(diǎn)云數(shù)據(jù)。

已有的一些方法如將點(diǎn)云轉(zhuǎn)化為圖片、將點(diǎn)云分割為等分布的體素，本文將其稱(chēng)為基于體素的方法，這些方法都是將點(diǎn)云轉(zhuǎn)化為 2D 的目標(biāo)檢測(cè)算法可以應(yīng)用的形式，雖然這些方法直接且有效，但在轉(zhuǎn)化過(guò)程中仍然存在著信息損失，這影響了其表現(xiàn)的進(jìn)一步提升。

還有一些基于點(diǎn)的方法直接將點(diǎn)云作為輸入，然后對(duì)每一個(gè)點(diǎn)進(jìn)行邊界框的預(yù)測(cè)。其中又分為兩個(gè)階段，第一個(gè)階段設(shè)置一些集合提取層（SA）用于降采樣以及抽取上下文特征，另一個(gè)階段則是使用特征傳播層（FP）來(lái)進(jìn)行上采樣以及傳播點(diǎn)在降采樣中丟失的特征。一種 3D 的區(qū)域建議網(wǎng)絡(luò)（RPN）可以為每個(gè)點(diǎn)生成建議，從而在第二階段給出最終的預(yù)測(cè)結(jié)果。這些方法取得了更好的效果，但做 inference 需要更長(zhǎng)的時(shí)間。其中 FP 的第二階段耗費(fèi)了一半的 inference 時(shí)間，目前 SA 中的采樣策略是基于 3D 歐氏距離的最遠(yuǎn)點(diǎn)采樣（D－FPS），這意味著先前僅有少數(shù)內(nèi)部點(diǎn)的樣本或許會(huì)在采樣后被丟失，從而導(dǎo)致它們無(wú)法被檢測(cè)到。

在 STD 中，如果不使用上采樣而僅使用降采樣后被保留下來(lái)的點(diǎn)做檢測(cè)，模型的效果將會(huì)下降 9％，這就是 FP 必須要用來(lái)做上采樣的原因。為解決這一問(wèn)題，本文首先提出了一種基于特征距離的采樣策略 F－FPS，并進(jìn)一步的將 F－FPS 與 D－FPS 進(jìn)行混合。

為了更好地探索在 SA 之后被保留下來(lái)的有代表性的點(diǎn)，本文提出了一個(gè)邊框預(yù)測(cè)網(wǎng)絡(luò)，包括一個(gè)候選生成層（CG）、一個(gè)無(wú)錨回歸頭和一個(gè) 3D 中心分配策略。在 CG 中，首先用 F－FPS 中有代表性的點(diǎn)生成候選點(diǎn)，這一過(guò)程收到這些點(diǎn)以及共現(xiàn)例子中的中心點(diǎn)的相對(duì)位置的約束。接下來(lái)將這些候選點(diǎn)作為中心，從 F－FPS 和 D－FPS 有代表性的點(diǎn)中選取其周?chē)�的點(diǎn)，將其特征通過(guò)多層感知網(wǎng)絡(luò)（MLP），這些特征最終被輸入到無(wú)錨回歸頭中來(lái)預(yù)測(cè) 3D 邊框。本文還設(shè)計(jì)了一個(gè) 3D 中心分配策略，給候選點(diǎn)中更靠近樣本中心的點(diǎn)更高的得分。

本文在 KITTI 和 nuScenes 兩個(gè)數(shù)據(jù)及上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的方法優(yōu)于所有基于體素的單階段方法，在更快的 inference 的基礎(chǔ)上與兩階段基于點(diǎn)的方法也具有一定可比性。
本文的主要貢獻(xiàn)如下：

1． 提出了一個(gè)輕量而高效的基于點(diǎn)的單階段 3D 目標(biāo)檢測(cè)器 3DSSD，拋棄了需要大量計(jì)算的 FP，這與已有的基于點(diǎn)的方法都不同。

2． 提出了一個(gè)混合的采樣策略，可以保留先前僅有少數(shù)內(nèi)部點(diǎn)的樣本。

3． 設(shè)計(jì)了一個(gè)高效的邊框預(yù)測(cè)網(wǎng)絡(luò)，實(shí)驗(yàn)表明該框架由于所有的單階段方法，在更快的 inference 的基礎(chǔ)上表現(xiàn)出與兩階段方法有可比性的效果。