人工智能 (AI) 世界正在快速發(fā)展，AI 越來越多地支持以前無法實現(xiàn)或難以實現(xiàn)的應用。

什么是卷積神經(jīng)網(wǎng)絡?

神經(jīng)網(wǎng)絡是一種系統(tǒng)，或者說是神經(jīng)元的結構，它使人工智能能夠更好地理解數(shù)據(jù)，從而解決復雜的問題。雖然網(wǎng)絡類型多種多樣，但本系列文章將僅關注卷積神經(jīng)網(wǎng)絡 (CNN)。CNN 的主要應用領域是模式識別和對輸入數(shù)據(jù)中包含的對象進行分類。CNN 是一種用于深度學習的人工神經(jīng)網(wǎng)絡。這種網(wǎng)絡由一個輸入層、幾個卷積層和一個輸出層組成。卷積層是最重要的組件，因為它們使用一組獨特的權重和過濾器，使網(wǎng)絡能夠從輸入數(shù)據(jù)中提取特征。數(shù)據(jù)可以有多種不同的形式，例如圖像、音頻和文本。這種特征提取過程使 CNN 能夠識別數(shù)據(jù)中的模式。通過從數(shù)據(jù)中提取特征，CNN 使工程師能夠創(chuàng)建更有效、更高效的應用程序。為了更好地理解 CNN，我們將首先討論經(jīng)典的線性規(guī)劃。

經(jīng)典控制工程中的線性程序執(zhí)行

在控制工程中，任務在于從一個或多個傳感器讀取數(shù)據(jù)，處理數(shù)據(jù)，根據(jù)規(guī)則做出響應，并顯示或轉發(fā)結果。例如，溫度調節(jié)器通過微控制器單元 (MCU) 每秒測量一次溫度，微控制器單元從溫度傳感器讀取數(shù)據(jù)。從傳感器獲取的值用作閉環(huán)控制系統(tǒng)的輸入數(shù)據(jù)，并在循環(huán)中與設定溫度進行比較。這是由 MCU 運行的線性執(zhí)行的示例。該技術根據(jù)一組預編程值和實際值提供結論性結果。相比之下，概率在 AI 系統(tǒng)的運行中發(fā)揮著作用。

復雜模式和信號處理

還有許多應用程序需要處理輸入數(shù)據(jù)，這些數(shù)據(jù)首先必須由模式識別系統(tǒng)進行解釋。模式識別可以應用于不同的數(shù)據(jù)結構。在我們的示例中，我們將自己限制在一維和二維數(shù)據(jù)結構中。以下是一些示例：音頻信號、心電圖 (ECG)、光電容積描記器 (PPG)、一維數(shù)據(jù)和圖像的振動、熱圖像以及二維數(shù)據(jù)的瀑布圖。

在上述案例中使用的模式識別，將應用程序轉換為 MCU 的傳統(tǒng)代碼極其困難。一個例子是識別圖像中的物體(例如貓)。在這種情況下，要分析的圖像是來自早期記錄還是剛剛由相機傳感器讀取的圖像都沒有區(qū)別。分析軟件會根據(jù)規(guī)則搜索可以歸因于貓的模式：典型的尖耳朵、三角形鼻子或胡須。如果可以在圖像中識別出這些特征，軟件就會報告發(fā)現(xiàn)了貓。這里出現(xiàn)了一些問題：如果只顯示貓的背面，模式識別系統(tǒng)會做什么?如果它沒有胡須或在事故中失去了腿，會發(fā)生什么?盡管這些例外不太可能發(fā)生，模式識別代碼必須檢查大量涵蓋所有可能異常的附加規(guī)則。即使在我們這個簡單示例中，軟件設置的規(guī)則也會很快變得繁瑣。

機器學習如何取代傳統(tǒng)規(guī)則

人工智能背后的想法是小規(guī)模地模仿人類的學習。我們不是制定大量的“如果-那么”規(guī)則，而是模擬一個通用的模式識別機器。這兩種方法之間的關鍵區(qū)別在于，與一組規(guī)則不同，人工智能不會提供明確的結果。機器學習不會報告“我在圖片中認出了一只貓”，而是得出這樣的結果：“圖片中有一只貓的概率為 97.5%。它也可能是一只豹子(2.1%)或一只老虎(0.4%)?！边@意味著此類應用程序的開發(fā)人員必須在模式識別過程結束時做出決定。為此使用決策閾值。

另一個區(qū)別是，模式識別機器沒有固定的規(guī)則。相反，它是經(jīng)過訓練的。在這個學習過程中，神經(jīng)網(wǎng)絡會看到大量的貓圖像。最后，這個網(wǎng)絡能夠獨立識別圖像中是否有貓。關鍵是未來的識別并不局限于已知的訓練圖像。這個神經(jīng)網(wǎng)絡需要映射到 MCU 中。

模式識別機器的內部到底是什么樣的?

人工智能中的神經(jīng)元網(wǎng)絡與人類大腦中的生物神經(jīng)元網(wǎng)絡相似。一個神經(jīng)元有多個輸入和一個輸出。基本上，這樣的神經(jīng)元只不過是輸入的線性變換——將輸入乘以數(shù)字(權重，w)并添加一個常數(shù)(偏差，b)，然后是一個固定的非線性函數(shù)，也稱為激活函數(shù)。[1] 作為網(wǎng)絡中唯一的非線性組件，此激活函數(shù)用于定義人工神經(jīng)元觸發(fā)的值范圍。神經(jīng)元的功能可以用數(shù)學方式描述為

其中 f = 激活函數(shù)，w = 權重，x = 輸入數(shù)據(jù)，b = 偏差。數(shù)據(jù)可以作為單個標量、向量或矩陣形式出現(xiàn)。圖 1 顯示了一個具有三個輸入和一個 ReLU[2] 激活函數(shù)的神經(jīng)元。網(wǎng)絡中的神經(jīng)元總是按層排列。

圖 1. 一個具有三個輸入和一個輸出的神經(jīng)元。

如上所述，CNN 用于對輸入數(shù)據(jù)中包含的對象進行模式識別和分類。CNN 分為多個部分：一個輸入層、多個隱藏層和一個輸出層。圖 2 中可以看到一個小型網(wǎng)絡，該網(wǎng)絡具有三個輸入、一個具有五個神經(jīng)元的隱藏層和一個具有四個輸出的輸出層。所有神經(jīng)元輸出都連接到下一層的所有輸入。圖 2 中所示的網(wǎng)絡無法處理有意義的任務，在此僅用于演示目的。即使在這個小型網(wǎng)絡中，用于描述網(wǎng)絡的方程中也有 32 個偏差和 32 個權重。

CIFAR 神經(jīng)網(wǎng)絡是一種廣泛用于圖像識別任務的 CNN。它由兩種主要類型的層組成：卷積層和池化層，這兩種層在神經(jīng)網(wǎng)絡的訓練中都得到了很好的利用。卷積層使用一種稱為卷積的數(shù)學運算來識別像素值數(shù)組中的模式。如圖 3 所示，卷積發(fā)生在隱藏層中。此過程重復多次，直到達到所需的準確度。請注意，如果要比較的兩個輸入值(在本例中為圖像和過濾器)相似，則卷積運算的輸出值總是特別高。這稱為過濾矩陣，也稱為過濾內核或過濾器。然后將結果傳遞到池化層，池化層生成特征圖 - 識別重要特征的輸入數(shù)據(jù)的表示。這被視為另一個過濾矩陣。經(jīng)過訓練后 - 在網(wǎng)絡的運行狀態(tài)下 - 將這些特征圖與輸入數(shù)據(jù)進行比較。由于特征圖包含與輸入圖像進行比較的對象類別特定特征，因此只有當內容相似時，神經(jīng)元的輸出才會觸發(fā)。通過結合這兩種方法，CIFAR 網(wǎng)絡可用于高精度地識別和分類圖像中的各種對象。

圖 2。一個小型神經(jīng)網(wǎng)絡。

圖 3. 使用 CIFAR-10 數(shù)據(jù)集訓練的 CIFAR 網(wǎng)絡模型。

CIFAR-10 是常用于訓練 CIFAR 神經(jīng)網(wǎng)絡的一個特定數(shù)據(jù)集。它包含 60,000 張 32 × 32 彩色圖像，分為 10 個類別，這些圖像來自網(wǎng)頁、新聞組和個人圖像集等各種來源。每個類別有 6000 張圖像，在訓練集、測試集和驗證集之間平均分配，使其成為測試新計算機視覺架構和其他機器學習模型的理想數(shù)據(jù)集。

卷積神經(jīng)網(wǎng)絡與其他類型網(wǎng)絡的主要區(qū)別在于它們處理數(shù)據(jù)的方式。通過過濾，輸入數(shù)據(jù)被依次檢查其屬性。隨著串聯(lián)的卷積層數(shù)量的增加，可識別的細節(jié)級別也會增加。在第一次卷積之后，該過程從簡單的對象屬性(例如邊緣或點)開始，在第二次卷積之后繼續(xù)到詳細結構(例如角、圓、矩形等)。在第三次卷積之后，特征表示類似于圖像中對象部分的復雜模式，并且通常是給定對象類所獨有的。在我們最初的例子中，這些是貓的胡須或耳朵。特征圖的可視化(如圖 4 所示)對于應用程序本身來說不是必需的，但它有助于理解卷積。

即使是像 CIFAR 這樣的小型網(wǎng)絡，每層也包含數(shù)百個神經(jīng)元，并且有許多層串聯(lián)在一起。隨著網(wǎng)絡的復雜性和規(guī)模的增加，必要的權重和偏差的數(shù)量也會迅速增加。在圖 3 所示的 CIFAR-10 示例中，已經(jīng)有 200,000 個參數(shù)在訓練過程中需要一組確定的值?？梢酝ㄟ^池化層進一步處理特征圖，從而減少需要訓練的參數(shù)數(shù)量，同時仍保留重要信息。

圖 4。CNN 的特征圖。

如上所述，在 CNN 中，每次卷積之后，通常都會進行池化(在文獻中也稱為子采樣)。這可以減少數(shù)據(jù)的維度。如果您查看圖 4 中的特征圖，您會注意到大區(qū)域幾乎不包含任何有意義的信息。這是因為對象不是整個圖像，而只是其中的一小部分。圖像的其余部分未在此特征圖中使用，因此與分類無關。在池化層中，指定池化類型(最大或平均)和窗口矩陣大小。在池化過程中，窗口矩陣以逐步方式在輸入數(shù)據(jù)上移動。例如，在最大池化中，取窗口中的最大數(shù)據(jù)值。所有其他值都將被丟棄。這樣，數(shù)據(jù)數(shù)量不斷減少，最終與卷積一起形成各自對象類別的獨特屬性。

然而，這些卷積和池化組的結果是大量的二維矩陣。為了實現(xiàn)我們實際的分類目標，我們將二維數(shù)據(jù)轉換為一個長的一維向量。轉換是在所謂的扁平層中完成的，其后跟著一個或兩個全連接層。最后兩層中的神經(jīng)元類型類似于圖 2 所示的結構。我們的神經(jīng)網(wǎng)絡的最后一層的輸出數(shù)量與要區(qū)分的類別數(shù)量完全相同。此外，在最后一層，數(shù)據(jù)也被歸一化以產生概率分布(97.5% 為貓，2.1% 為豹，0.4% 為老虎等)。

至此，我們的神經(jīng)網(wǎng)絡建模就結束了。但是，內核和濾波器矩陣的權重和內容仍然未知，必須通過網(wǎng)絡訓練來確定，才能使模型正常工作。