在增強現(xiàn)實（AR）與自動駕駛的時代來臨之際，3D數(shù)據(jù)呈現(xiàn)爆炸式增長。在不久的將來，處理3D數(shù)據(jù)的算法將應用于像機器人自動巡航、基于AR的智能用戶界面等應用程序上。受此啟發(fā)，我們在Matroid公司所著的論文提出了FusionNet，這一框架用于在一個名為Princeton ModelNet的標準數(shù)據(jù)集上做3D CAD物體分類。

FusionNet的核心是全新的、應用于3D物體的三維卷積神經網絡（Convolutional Neural Networks， CNN）。我們必須在多個方面調整傳統(tǒng)的CNN以使其有效。為了解釋得清楚些，我們不妨先看一下用于圖像分類的二維CNN。這個思路是，機器學習研究者會構建數(shù)個隱層形成的模型，每一層與前一層都以不同的形式連接。在第一層，你會擁有一個在二維圖像上滑動的一塊窗口區(qū)域作為輸入。因為這個區(qū)域執(zhí)行了卷積操作——在窗口滑動時它交疊其上，因此它被稱為卷積層。其后還有幾層不同形式的隱層，最后一層用于預測潛在的輸出；每一種輸出對應著圖像標注中的某種分類。在ModelNet40 Challenge數(shù)據(jù)集中，存在40個分類，因此模型中最后一層有40個神經元。第一類可能是“貓”，第二類可能是“車輛”，以此類推遍歷數(shù)據(jù)集包含的所有分類。如果第一個神經元在40個中激發(fā)的最厲害，那么輸入樣本就會被判別為第一類，一只貓。

整個模型假設輸入是圖片形式，即二維數(shù)據(jù)。你該如何將它拓展到三維呢？一種可能的方法是，就像顯示器顯示三維物體那樣，先把物體通過投影處理成二維圖像，然后在其上運行標準的二維CNN算法。實際上，現(xiàn)在在Princeton ModelNet Challenge數(shù)據(jù)集上已提交的最優(yōu)算法的思路是，把任何3D物體在多個角度上對物體進行一組2D投影進行“像素表達”，然后使用卷積神經網絡。FusionNet確實也基于像素表達使用了CNN，但關鍵是，它同時還增加了一種新式的三維CNN。

與在二維圖像上滑動一個區(qū)域不同的是，我們可以在物體上滑動一塊三維空間了！在這種表達之下，沒有必要做投影這一步。這種方法用“體積表達”來處理物體。

在我們的體積表達中，3D物體被離散化為30*30*30的體素（譯者注：volumepixel，文中簡稱voxel）網格。如果物體的任何部分位于1*1*1的體素中，就給體素賦值為1，反之則賦值為0. 與之前的工作不同的是，我們在學習物體特征的過程中同時用到了像素表達和體素表達，這種方法對分類3D CAD物體而言，比單獨使用其中一種要好。其中一些例子如下：

圖 1. 兩種表達。 左圖：浴缸、高腳凳、坐便器與衣櫥的2D投影。右圖：體素化之后的浴缸、高腳凳、坐便器與衣櫥。 感謝Reza Zadeh提供圖片

我們建立了兩種處理體素數(shù)據(jù)的卷積神經網絡（V-CNN I與V-CNN II），以及一種處理像素數(shù)據(jù)的網絡（MV-CNN）。 下圖顯示了這些網絡是如何結合在一起工作，并給出對于物體分類的最終判斷的。處理2D圖像的標準CNN就不一樣了，它們只能從圖像中學到一些空間局部特征。

圖2. FusionNet是三種神經網絡的混合，它們分別是V-CNN I， V-CNN II， and MV-CNN （最后一種神經網絡是基于AlexNet結構構建的，并經過ImageNet數(shù)據(jù)集預訓練過 ） 這三種網絡在評分層進行了融合，通過計算打分的線性組合找到最終所預測的分類。前兩個網絡使用了體素化的CAD模型，最后一種網絡則使用2D投影作為輸入。感謝Reza Zadeh提供圖片

我們使用了標準預訓練神經網絡模型（AlexNet）作為2D網絡MV-CNN的基礎，對3D物體2D投影的網絡進行暖啟動（warm-start）預訓練基于大規(guī)模2D像素圖片數(shù)據(jù)集ImageNet。受預訓練影響，許多用于2D圖像分類的特征不需要從頭開始訓練了。下圖所描繪的框架是我們使用的V-CNN之一種（V-CNN I）：

圖 3. 感謝Reza Zadeh提供圖片

V-CNN I所使用的框架受到GoogLeNet（www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf）啟發(fā)， 使用了IncepTIon模塊。IncepTIon模塊對不同大小的核處理結果進行了拼接，它有助于神經網絡學習不同尺度的特征，并在緊接著IncepTIon模塊的下一層卷積層中共享參數(shù)。

概括來說，F(xiàn)usionNet是三種神經網絡的融合，其中一種基于像素表達，兩種基于物體的體素化表達。它利用了每一種網絡的強項，提高了分類器性能。FusionNet中的每一個網絡組分都在對物體分類之前以多個角度、方向觀察物體。盡管從直覺來說，對物體的多角度觀察確實能比單角度觀察帶來更多信息，但是將信息整合到一起以提高預測精度并不顯而易見。我們使用了20個像素表達特征與60個CAD物體體素表達特征這么多信息用于進行物體分類。FusionNet的效果超越了在Princeton ModelNet 40類數(shù)據(jù)集榜單上排名第一的提交方案，展示了其獨到的能力。