今天，小編將在這篇文章中為大家?guī)?lái)機(jī)器學(xué)習(xí)算法的有關(guān)報(bào)道，通過(guò)閱讀這篇文章，大家可以對(duì)機(jī)器學(xué)習(xí)算法具備清晰的認(rèn)識(shí)，主要內(nèi)容如下。

1、主成分分析(PCA)/SVD

PCA 是一種無(wú)監(jiān)督方法，用于了解由向量組成的數(shù)據(jù)集的全局屬性。此處分析數(shù)據(jù)點(diǎn)的協(xié)方差矩陣，以了解哪些維度(大多數(shù))/數(shù)據(jù)點(diǎn)(有時(shí))更重要(即它們之間的方差較高，但與其他維度的協(xié)方差較低)?？紤]矩陣的頂級(jí) PC 的一種方法是考慮具有最高特征值的特征向量。SVD 本質(zhì)上也是一種計(jì)算有序分量的方法，但不需要獲取點(diǎn)的協(xié)方差矩陣即可獲得它。

主成分分析PCA是一種簡(jiǎn)化數(shù)據(jù)集的技術(shù)。它是一個(gè)線性變換。這個(gè)變換把數(shù)據(jù)變換到一個(gè)新的坐標(biāo)系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個(gè)坐標(biāo)(稱(chēng)為第一主成分)上，第二大方差在第二個(gè)坐標(biāo)(第二主成分)上，依次類(lèi)推。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。這是通過(guò)保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是，這也不是一定的，要視具體應(yīng)用而定。

2、最小二乘法和多項(xiàng)式擬合

大學(xué)時(shí)學(xué)習(xí)的數(shù)值分析，曾經(jīng)將直線和曲線擬合到點(diǎn)來(lái)得到方程?？梢允褂盟鼈儊?lái)擬合機(jī)器學(xué)習(xí)中低維度的小型數(shù)據(jù)集的曲線。(對(duì)于大數(shù)據(jù)或具有多個(gè)維度的數(shù)據(jù)集，可能最終會(huì)嚴(yán)重過(guò)度擬合，所以不必?fù)?dān)心)。OLS具有封閉式解決方案，因此無(wú)需使用復(fù)雜的優(yōu)化技術(shù)。

3、K表示聚類(lèi)

他是無(wú)監(jiān)督聚類(lèi)算法。給定一組向量形式的數(shù)據(jù)點(diǎn)，我們可以根據(jù)它們之間的距離來(lái)形成點(diǎn)簇。這是一種期望最大化算法，它迭代地移動(dòng)聚類(lèi)中心，然后將點(diǎn)與每個(gè)聚類(lèi)中心結(jié)合在一起。算法采用的輸入是要生成的簇的數(shù)量以及它將嘗試收斂簇的迭代次數(shù)。

一種動(dòng)態(tài)聚類(lèi)方法。在原始圖像集合(N個(gè)圖像)中隨機(jī)選擇k個(gè)原始圖像作為k個(gè)類(lèi)，逐個(gè)分析剩余圖像，計(jì)算該圖像與k個(gè)類(lèi)之間的距離，將該圖像歸入與之最鄰近的類(lèi)，重新計(jì)算該類(lèi)的類(lèi)平均圖，依次類(lèi)推直至分析完剩余N-k個(gè)圖像;之后，再逐個(gè)對(duì)集合中的N個(gè)圖像依次重復(fù)上面的計(jì)算和歸類(lèi)，不斷重復(fù)此步驟，直到k個(gè)類(lèi)平均圖收斂，由此得到對(duì)原始圖像集合的k個(gè)分類(lèi)。其中的參數(shù)k如果選擇不合適就會(huì)影響分析效果，因此在改進(jìn)的快速聚類(lèi)法中，通過(guò)引入最小距離c和最大距離R可以動(dòng)態(tài)修正參數(shù)k，對(duì)距離小于c的兩個(gè)類(lèi)進(jìn)行歸并，將與所有類(lèi)的距離都大于R的圖像作為一個(gè)新類(lèi)。

4、邏輯回歸

Logistic回歸是在應(yīng)用權(quán)重后應(yīng)用非線性(主要使用sigmoid函數(shù)，也可以使用tanh)的約束線性回歸，因此將輸出限制為接近+/-類(lèi)(在sigmoid情況下為1和0)。交叉熵?fù)p失函數(shù)使用梯度下降進(jìn)行優(yōu)化。初學(xué)者注意：邏輯回歸用于分類(lèi)，而不是回歸。還可以將邏輯回歸視為單層神經(jīng)網(wǎng)絡(luò)。邏輯回歸使用梯度下降或L-BFGS等優(yōu)化方法進(jìn)行訓(xùn)練。NLP人們經(jīng)常將其與最大熵分類(lèi)器的名稱(chēng)一起使用。

Logistic回歸實(shí)質(zhì)：發(fā)生概率除以沒(méi)有發(fā)生概率再取對(duì)數(shù)。就是這個(gè)不太繁瑣的變換改變了取值區(qū)間的矛盾和因變量自變量間的曲線關(guān)系。究其原因，是發(fā)生和未發(fā)生的概率成為了比值 ，這個(gè)比值就是一個(gè)緩沖，將取值范圍擴(kuò)大，再進(jìn)行對(duì)數(shù)變換，整個(gè)因變量改變。不僅如此，這種變換往往使得因變量和自變量之間呈線性關(guān)系，這是根據(jù)大量實(shí)踐而總結(jié)。所以，Logistic回歸從根本上解決因變量要不是連續(xù)變量怎么辦的問(wèn)題。還有，Logistic應(yīng)用廣泛的原因是許多現(xiàn)實(shí)問(wèn)題跟它的模型吻合。例如一件事情是否發(fā)生跟其他數(shù)值型自變量的關(guān)系。

5、SVM(支持向量機(jī))

SVM是一種常用的監(jiān)督學(xué)習(xí)算法，是像線性/邏輯回歸一樣的線性模型，不同之處在于它的核心思想是將數(shù)據(jù)映射到高維特征空間，并在該空間中尋找一個(gè)最優(yōu)的超平面來(lái)進(jìn)行分類(lèi)。超平面是一個(gè) n-1 維的線性子空間，其中 n 是特征的維數(shù)。SVM 在特征空間中選擇具有最大間隔(Margin)的超平面作為最優(yōu)分類(lèi)邊界，以提高分類(lèi)的魯棒性。

SVM使用鉸鏈損失函數(shù)(hinge loss)計(jì)算經(jīng)驗(yàn)風(fēng)險(xiǎn)(empirical risk)并在求解系統(tǒng)中加入了正則化項(xiàng)以?xún)?yōu)化結(jié)構(gòu)風(fēng)險(xiǎn)(structural risk)，是一個(gè)具有稀疏性和穩(wěn)健性的分類(lèi)器。SVM可以通過(guò)核方法(kernel method)進(jìn)行非線性分類(lèi)，是常見(jiàn)的核學(xué)習(xí)(kernel learning)方法之一。

6、前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)(feedforward neural network，F(xiàn)NN)，簡(jiǎn)稱(chēng)前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)。其中每一層包含若干個(gè)神經(jīng)元。在此種神經(jīng)網(wǎng)絡(luò)中，各神經(jīng)元可以接收前一層神經(jīng)元的信號(hào)，并產(chǎn)生輸出到下一層。第0層叫輸入層，最后一層叫輸出層，其他中間層叫做隱含層(或隱藏層、隱層)。隱層可以是一層。也可以是多層。

這些基本上是多層邏輯回歸分類(lèi)器。由非線性(sigmoid、tanh、relu + softmax 和很酷的新 selu)分隔的許多權(quán)重層。它們的另一個(gè)流行名稱(chēng)是多層感知器。FFNN 可作為自動(dòng)編碼器用于分類(lèi)和無(wú)監(jiān)督特征學(xué)習(xí)。

7、卷積神經(jīng)網(wǎng)絡(luò)(Convnets)

卷積神經(jīng)網(wǎng)絡(luò)仿造生物的視知覺(jué)(visual perception)機(jī)制構(gòu)建，可以進(jìn)行監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，其隱含層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性使得卷積神經(jīng)網(wǎng)絡(luò)能夠以較小的計(jì)算量對(duì)格點(diǎn)化(grid-like topology)特征，例如像素和音頻進(jìn)行學(xué)習(xí)、有穩(wěn)定的效果且對(duì)數(shù)據(jù)沒(méi)有額外的特征工程(feature engineering)要求。

當(dāng)今世界上幾乎所有最先進(jìn)的基于視覺(jué)的機(jī)器學(xué)習(xí)結(jié)果都是使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。它們可用于圖像分類(lèi)、對(duì)象檢測(cè)甚至圖像分割。卷積網(wǎng)絡(luò)由 Yann Lecun 在 80 年代末至 90 年代初發(fā)明，其特征是卷積層充當(dāng)分層特征提取器。也可以在文本(甚至圖表)中使用它們。

8、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)：

RNN通過(guò)在時(shí)間t的聚合器狀態(tài)和時(shí)間t的輸入上遞歸應(yīng)用同一組權(quán)重來(lái)對(duì)序列進(jìn)行建模(假設(shè)序列在時(shí)間0..t..T具有輸入，并且在每個(gè)時(shí)間t有一個(gè)隱藏狀態(tài))這是RNNt-1步驟的輸出)。純RNN現(xiàn)在很少使用，但其對(duì)應(yīng)的LSTM和GRU在大多數(shù)序列建模任務(wù)中都是最先進(jìn)的。

9、條件隨機(jī)場(chǎng)(CRF)

CRF 可能是概率圖模型 (PGM) 系列中最常用的模型。它們用于像 RNN 一樣的序列建模，也可以與 RNN 結(jié)合使用。在神經(jīng)機(jī)器翻譯系統(tǒng)出現(xiàn)之前，條件隨機(jī)場(chǎng)是最先進(jìn)的，在許多小數(shù)據(jù)集的序列標(biāo)記任務(wù)中，它們?nèi)匀槐刃枰罅繑?shù)據(jù)才能泛化的 RNN 學(xué)得更好。它們還可以用于其他結(jié)構(gòu)化預(yù)測(cè)任務(wù)，例如圖像分割等。CRF 對(duì)序列的每個(gè)元素(例如句子)進(jìn)行建模，以便鄰居影響序列中組件的標(biāo)簽，而不是所有標(biāo)簽彼此獨(dú)立。

10、決策樹(shù)

它是一種基于樹(shù)結(jié)構(gòu)的分類(lèi)和回歸算法。它通過(guò)對(duì)特征進(jìn)行分割來(lái)構(gòu)建一個(gè)樹(shù)形模型，每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)特征，每個(gè)葉節(jié)點(diǎn)表示一個(gè)類(lèi)別或一個(gè)數(shù)值。決策樹(shù)通過(guò)對(duì)特征進(jìn)行逐層的判斷和分割，以最終得到一個(gè)預(yù)測(cè)結(jié)果。

最后，小編誠(chéng)心感謝大家的閱讀。你們的每一次閱讀，對(duì)小編來(lái)說(shuō)都是莫大的鼓勵(lì)和鼓舞。希望大家對(duì)機(jī)器學(xué)習(xí)算法已經(jīng)具備了初步的認(rèn)識(shí)，最后的最后，祝大家有個(gè)精彩的一天。