介紹對(duì)象檢測(cè)是計(jì)算機(jī)視覺(jué)社區(qū)中研究最廣泛的主題之一,它已經(jīng)進(jìn)入了各個(gè)行業(yè),涉及從圖像安全,監(jiān)視,自動(dòng)車(chē)輛系統(tǒng)到機(jī)器檢查等領(lǐng)域。

當(dāng)前,基于深度學(xué)習(xí)的對(duì)象檢測(cè)可以大致分為兩類(lèi):兩級(jí)檢測(cè)器,例如基于區(qū)域檢測(cè)的CNN(R-CNN)及其后續(xù)產(chǎn)品。

一級(jí)探測(cè)器,例如YOLO系列探測(cè)器和SSD基于錨框的常規(guī)一級(jí)檢測(cè)器可能會(huì)更快,更簡(jiǎn)單,但由于在訓(xùn)練過(guò)程中遇到極端的等級(jí)失衡,其精度已經(jīng)落后于兩級(jí)探測(cè)器。FAIR在2018年發(fā)表了一篇論文,其中他們引入了焦點(diǎn)損失的概念,使用他們稱(chēng)之為RetinaNet的一級(jí)探測(cè)器來(lái)處理此類(lèi)不平衡問(wèn)題。在我們深入探討焦點(diǎn)丟失的本質(zhì)之前,讓我們首先了解這個(gè)類(lèi)不平衡問(wèn)題是什么以及它可能引起的問(wèn)題。

目錄為什么需要焦點(diǎn)損失什么是焦點(diǎn)損失交叉熵?fù)p失交叉熵問(wèn)題例子平衡交叉熵?fù)p失平衡交叉熵問(wèn)題例子焦點(diǎn)損失說(shuō)明例子交叉熵?fù)p失 vs 焦點(diǎn)損失容易正確分類(lèi)的記錄分類(lèi)錯(cuò)誤的記錄非常容易分類(lèi)的記錄最后的想法為什么需要焦點(diǎn)損失兩種經(jīng)典的一級(jí)檢測(cè)方法,如增強(qiáng)型檢測(cè)器,DPM和最新的方法(如SSD)都可以評(píng)估每個(gè)圖像大約10^4 至 10^5個(gè)候選位置,但只有少數(shù)位置包含對(duì)象(即前景),而其余的只是背景對(duì)象,這就導(dǎo)致了類(lèi)不平衡的問(wèn)題。這種不平衡會(huì)導(dǎo)致兩個(gè)問(wèn)題訓(xùn)練效率低下,因?yàn)榇蠖鄶?shù)位置都容易被判斷為負(fù)類(lèi)(這意味著檢測(cè)器可以輕松地將其歸類(lèi)為背景),這對(duì)檢測(cè)器的學(xué)習(xí)沒(méi)有幫助。容易產(chǎn)生的負(fù)類(lèi)(概率較高的檢測(cè))占輸入的很大一部分。

雖然單獨(dú)計(jì)算的梯度和損失較小,但它們可能使損耗和計(jì)算出的梯度不堪重負(fù),并可能導(dǎo)致模型退化。什么是焦點(diǎn)損失簡(jiǎn)而言之,焦點(diǎn)損失(Focal Loss,FL)是交叉熵?fù)p失(Cross-Entropy Loss,CE)的改進(jìn)版本,它通過(guò)為難分類(lèi)的或容易錯(cuò)誤分類(lèi)的示例(即帶有噪聲紋理的背景或部分對(duì)象的或我們感興趣的對(duì)象)分配更多的權(quán)重并對(duì)簡(jiǎn)單示例(即背景對(duì)象)降低權(quán)重來(lái)處理類(lèi)不平衡問(wèn)題。

因此,焦點(diǎn)損失減少了簡(jiǎn)單示例的損失貢獻(xiàn),并加強(qiáng)了對(duì)糾正錯(cuò)誤分類(lèi)示例的重視。首先讓我們來(lái)了解一下二進(jìn)制分類(lèi)的交叉熵?fù)p失。交叉熵?fù)p失交叉熵?fù)p失背后的思想是懲罰錯(cuò)誤的預(yù)測(cè),而不是獎(jiǎng)勵(lì)正確的預(yù)測(cè)。二進(jìn)制分類(lèi)的交叉熵?fù)p失如下:

其中:Yact  = Y的實(shí)際值Ypred = Y的預(yù)測(cè)值為了標(biāo)記方便,我們記 Yact  =  Y 且 Ypred = p 。Y∈{0,1},這是正確標(biāo)注p∈[0,1],是模型對(duì)Y = 1的類(lèi)別的估計(jì)概率。為了符號(hào)上的方便,我們可以將上述方程式改寫(xiě)為:pt = {-ln(p)         ,當(dāng)Y=1 -ln(1-p)    ,當(dāng) Y=}CE(p,y)= CE(pt)=-ln?(pt)交叉熵問(wèn)題如你所見(jiàn),下圖中的藍(lán)線(xiàn)表示當(dāng)p非常接近0(當(dāng)Y = 0時(shí))或1時(shí),容易分類(lèi)的pt > 0．5的示例可能會(huì)產(chǎn)生不小幅度的損失。

讓我們用下面的例子來(lái)理解它。例子假設(shè),前景(我們稱(chēng)其為類(lèi)1)正確分類(lèi)為p = 0．95 ——CE(FG)= -ln(0．95)= 0．05并且背景(我們稱(chēng)其為類(lèi)0)正確分類(lèi)為p = 0．05 ——CE(BG)=-ln(1- 0．05)= 0．05現(xiàn)在問(wèn)題是,對(duì)于類(lèi)不平衡的數(shù)據(jù)集,當(dāng)這些小的損失在整個(gè)圖像上相加時(shí),可能會(huì)使整體損失(總損失)不堪重負(fù),將導(dǎo)致模型退化。

平衡交叉熵?fù)p失解決類(lèi)別不平衡問(wèn)題的一種常見(jiàn)方法是為類(lèi)別引入權(quán)重因子∝[0,1]為了標(biāo)記方便,我們可以在損失函數(shù)中定義  ∝t 如下:CE(pt)= -∝t ln ln(pt)

如你所見(jiàn),這只是交叉熵的擴(kuò)展。平衡交叉熵的問(wèn)題我們的實(shí)驗(yàn)將表明,在密集檢測(cè)器訓(xùn)練過(guò)程中遇到的大類(lèi)不平衡壓倒了交叉熵?fù)p失。容易分類(lèi)的負(fù)類(lèi)占損耗的大部分,并主導(dǎo)梯度。雖然平衡了正例/負(fù)例的重要性,但它并沒(méi)有區(qū)分簡(jiǎn)單/困難的示例。

讓我們通過(guò)一個(gè)例子來(lái)理解這一點(diǎn)例子假設(shè),前景(我們稱(chēng)其為類(lèi)1)正確分類(lèi)為p = 0．95 ——CE(FG)= -0．25 * ln(0．95)= 0．0128正確分類(lèi)為p = 0．05的背景(我們稱(chēng)之為類(lèi)0)——CE(BG)=-(1-0．25)* ln(1- 0．05)= 0．038雖然可以很好地正確區(qū)分正類(lèi)和負(fù)類(lèi),但仍然不能區(qū)分簡(jiǎn)單/困難的樣本。這就是焦點(diǎn)損失(擴(kuò)展到交叉熵)所要解決的問(wèn)題。

焦點(diǎn)損失說(shuō)明焦點(diǎn)損失只是交叉熵?fù)p失函數(shù)的擴(kuò)展,它將降低簡(jiǎn)單示例的權(quán)重,并將訓(xùn)練重點(diǎn)放在困難的負(fù)樣本上。為此,研究人員提出:(1- pt)γ   為交叉熵?fù)p失,且可調(diào)聚焦參數(shù)γ≥0。RetinaNet物體檢測(cè)方法使用焦點(diǎn)損失的α平衡變體,其中α = 0．25,γ= 2效果最佳。

因此,焦點(diǎn)損失可以定義為——FL (pt) = -αt(1-  pt)γ log  log(pt)．對(duì)于γ∈[0,5]的幾個(gè)值,可以看到焦點(diǎn)損失,請(qǐng)參見(jiàn)圖1。我們將注意到焦點(diǎn)損失的以下特性:當(dāng)示例分類(lèi)錯(cuò)誤并且pt小時(shí),調(diào)制因數(shù)接近1,并且損失不受影響。當(dāng) pt →1 時(shí),該因子變?yōu)?,并且對(duì)分類(lèi)良好的示例的損失進(jìn)行了權(quán)衡。聚焦參數(shù)γ平滑地調(diào)整了簡(jiǎn)單示例的權(quán)重。隨著增加,調(diào)制因數(shù)的作用同樣增加。(經(jīng)過(guò)大量實(shí)驗(yàn)和試驗(yàn),研究人員發(fā)現(xiàn)γ = 2效果最佳)注意:當(dāng)γ= 0時(shí),FL等效于CE,參考圖中藍(lán)色曲線(xiàn)。

直觀(guān)上,調(diào)制因數(shù)減少了簡(jiǎn)單示例的損耗貢獻(xiàn),并擴(kuò)展了示例接收低損耗的范圍。讓我們通過(guò)一個(gè)例子來(lái)了解上述焦點(diǎn)損失的特性。例子當(dāng)記錄(前景或背景)被正確分類(lèi)時(shí),前景正確分類(lèi),預(yù)測(cè)概率p=0．99,背景正確分類(lèi),預(yù)測(cè)概率p=0．01。pt = {0．99,當(dāng)Yact = 1 時(shí); 1-0．01,當(dāng)Y act = 0時(shí)},調(diào)制因數(shù)(FG)=(1-0．99)2 = 0．0001,調(diào)制因數(shù)(BG)=(1-(1-0．01))2 = 0．0001,如你所見(jiàn),調(diào)制因數(shù)接近于0,因此損耗將被權(quán)重降低。

前景被錯(cuò)誤分類(lèi),預(yù)測(cè)概率p = 0．01,背景對(duì)象被錯(cuò)誤分類(lèi),預(yù)測(cè)概率p = 0．99。pt = {0．01,當(dāng)Yact = 1 時(shí); 1-0．99,當(dāng)Y act = 0時(shí)},調(diào)制因數(shù)(FG)=(1-0．01)2 = 0．9801,調(diào)制因數(shù)(BG)=(1-(1-0．99))2 = 0．9801,如你所見(jiàn),調(diào)制因數(shù)接近于1,因此損耗不受影響。現(xiàn)在,讓我們使用一些示例來(lái)比較交叉熵和焦點(diǎn)損失,并查看焦點(diǎn)損失在訓(xùn)練過(guò)程中的影響。交叉熵?fù)p失 vs 焦點(diǎn)損失讓我們通過(guò)考慮以下幾種情況來(lái)進(jìn)行比較。

容易正確分類(lèi)的記錄假設(shè)前景正確分類(lèi)的預(yù)測(cè)概率為p = 0．95,背景正確分類(lèi)的背景為預(yù)測(cè)概率p = 0．05。pt = {0．95, 當(dāng) Yact=1時(shí);1-0．05 ,當(dāng) Yact = 0時(shí)}, CE(FG)= -ln (0．95)    = 0．0512932943875505,讓我們考慮在∝ = 0．25和γ= 2時(shí)的焦點(diǎn)損失。FL(FG)= -0．25 * (1-0．95)2 * ln (0．95) = 3．2058308992219E-5FL(BG)= -0．75 * (1-(1-0．05))2 * ln (1-0．05) = 9．61E-5分類(lèi)錯(cuò)誤的記錄假設(shè)預(yù)測(cè)概率p=0．05的前景被分類(lèi)為預(yù)測(cè)概率p=0．05的背景對(duì)象。pt = {0．95,當(dāng)Y act = 1;1-0．05時(shí),當(dāng)Y act = 0時(shí)},CE(FG)= -ln(0．05)= 2．995732273553991CE(BG)= -ln(1-0．95)= 2．995732273553992讓我們考慮相同的場(chǎng)景,即∞=0．25和γ=2。FL(FG)= -0．25 * (1-0．05)2 * ln(0．05)= 0．675912094220619,FL(BG)= -0．75 * (1-(1-0．95))2 * ln(1-0．95)= 2．027736282661858非常容易分類(lèi)的記錄假設(shè)對(duì)預(yù)測(cè)概率p=0．01的背景對(duì)象,用預(yù)測(cè)概率p=0．99對(duì)前景進(jìn)行分類(lèi)。pt = {0．99, 當(dāng) Yact=1時(shí);1-0．01 ,當(dāng) Yact = 0時(shí)},CE(FG)= -ln (0．99)= 0．0100503358535014,CE(BG)= -ln(1-0．01)= 0．0100503358535014讓我們考慮相同的場(chǎng)景,即∞=0．25和γ=2。FL(FG)= -0．25 * (1-0．01)2 * ln(0．99)= 2．51 * 10 -7,FL(BG)= -0．75 * (1-(1-0．01))2 * ln(1-0．01) = 7．5377518901261E-7最后的想法方案1:0．05129 / 3．2058 * 10 -7 =小1600倍方案2:2．3 / 0．667 =小4．5倍方案3:0．01 / 0．00000025 =小40,000倍。

這三個(gè)案例清楚地說(shuō)明了焦點(diǎn)損失是如何減小分類(lèi)良好記錄的權(quán)重的,另一方面又為錯(cuò)誤分類(lèi)或較難分類(lèi)的記錄賦予較大的權(quán)重。經(jīng)過(guò)大量的試驗(yàn)和實(shí)驗(yàn),研究人員發(fā)現(xiàn) ∝ = 0．25和 γ = 2 效果最佳。尾注在本文,我們經(jīng)歷了從交叉熵?fù)p失到焦點(diǎn)損失的整個(gè)進(jìn)化過(guò)程,詳細(xì)解釋了目標(biāo)檢測(cè)中的焦點(diǎn)損失。