2021年10月23-24、30-31日，第一屆雷達學報博士論壇成功舉辦！
深圳大學陳少武10月31日在雷達相關(guān)技術(shù)分論壇做了題為《深度神經(jīng)網(wǎng)絡(luò)壓縮》的學術(shù)報告。
近年來，利用深度學習，雷達信號處理領(lǐng)域?qū)崿F(xiàn)對目標的高精度檢測和實時跟蹤。層數(shù)越來越多的深度模型帶來了更高的模型精度，但這也令參數(shù)規(guī)模愈加龐大的模型無法嵌入到雷達系統(tǒng)所處的小算力平臺。
為了解決這個問題，模型壓縮方法應(yīng)運而生。然而，以往的模型壓縮方法只考慮了每個權(quán)重張量的獨立冗余性，壓縮效率較低，且性能衰減較大。為了取得更大的壓縮倍率同時盡可能的保持原始模型精度，我們提出利用神經(jīng)網(wǎng)絡(luò)層間的共性，以耦合張量分解的方法壓縮神經(jīng)網(wǎng)絡(luò),使得不同層共享部分權(quán)重，進一步地壓縮網(wǎng)絡(luò)并實現(xiàn)網(wǎng)絡(luò)推斷加速。
前沿深度模型中存在大量重復(fù)的卷積層。我們假設(shè)這些位置一致、結(jié)構(gòu)重復(fù)的卷積層的權(quán)重張量如 ω1，ω2具備耦合共性，即擁有獨立分量與共享分量:其中為共享分量: ω1=ωs+ωi,1，ω2=ωs+ωi,2,其中ωs為共享分量,ωi,1和ωi,2分別為ω1，ω2的獨立分量。據(jù)此，分別對他們的獨立與共享分量進行張量分解實現(xiàn)耦合張量壓縮（NC_CTD）：
ω1=ωs+ωi,1=Gs1*Gs2*Gs3+Gi11*Gi12*Gi13
ω2=ωs+ωi,2=Gs1*Gs2*Gs3+Gi21*Gi22*Gi23
通過控制秩的保留數(shù)目，可以控制參數(shù)壓縮的倍率。而利用該壓縮算法，等效地將一層卷積層替換為三層復(fù)雜度更低的卷積層，實現(xiàn)推斷加速，如圖1所示。
圖1：NC_CTD分解壓縮。
表1：在ImageNet數(shù)據(jù)集ResNet-34分類任務(wù)上的壓縮結(jié)果。“CR”表示壓縮倍率，“TT”為對比方法，“Accuracy”為對比指標。
表2：遷移學習任務(wù)上的網(wǎng)絡(luò)壓縮性能對比。“Time”表示單張圖片的前向推斷耗時。
如表1和表2所示，通過利用層間共性，耦合張量分解方法（NC-CTD）在不同數(shù)據(jù)集和任務(wù)上均取得了好于同類算法的性能表現(xiàn)，準確率高出基線方法0.5到1個百分點。同時，對比原網(wǎng)絡(luò)的前向推斷時間，NC-CTD方法實現(xiàn)了推斷加速。
本報告PPT共27張。
陳少武，2019年畢業(yè)于深圳大學電子信息工程專業(yè)，目前在深圳大學多維信號處理實驗室黃磊教授的指導下讀取博士學位。研究興趣包括矩陣與張量分解算法，深度神經(jīng)網(wǎng)絡(luò)壓縮加速及其應(yīng)用。
