前言

機(jī)器學(xué)習(xí)起源于人工智能，可以賦予計(jì)算機(jī)以傳統(tǒng)編程所無(wú)法實(shí)現(xiàn)的能力，比如飛行器的自動(dòng)駕駛、人臉識(shí)別、計(jì)算機(jī)視覺(jué)和數(shù)據(jù)挖掘等。

機(jī)器學(xué)習(xí)的算法很多。很多時(shí)候困惑人們的是，很多算法是一類(lèi)算法，而有些算法又是從其他算法中延伸出來(lái)的。這里，我們從兩個(gè)方面來(lái)給大家介紹，第一個(gè)方面是學(xué)習(xí)的方式，第二個(gè)方面是算法的類(lèi)似性。

學(xué)習(xí)方式

將算法按照學(xué)習(xí)方式分類(lèi)可以讓人們?cè)诮：退惴ㄟx擇的時(shí)候考慮能根據(jù)輸入數(shù)據(jù)來(lái)選擇最合適的算法來(lái)獲得最好的結(jié)果。

監(jiān)督學(xué)習(xí)

 

在監(jiān)督學(xué)習(xí)中，輸入數(shù)據(jù)被稱(chēng)為“訓(xùn)練數(shù)據(jù)”，每組訓(xùn)練數(shù)據(jù)有一個(gè)明確的類(lèi)標(biāo)。在建立預(yù)測(cè)模型的時(shí)候，監(jiān)督學(xué)習(xí)建立一個(gè)學(xué)習(xí)過(guò)程，將預(yù)測(cè)結(jié)果與“訓(xùn)練數(shù)據(jù)”的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。

監(jiān)督式學(xué)習(xí)的常見(jiàn)應(yīng)用場(chǎng)景如分類(lèi)問(wèn)題和回歸問(wèn)題。常見(jiàn)算法有Linear Regression，LogisTIc Regression，Neural Network，SVMs。

非監(jiān)督學(xué)習(xí)

 

在非監(jiān)督學(xué)習(xí)中，數(shù)據(jù)并未被特別標(biāo)識(shí)，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。

常見(jiàn)的應(yīng)用場(chǎng)景包括關(guān)聯(lián)規(guī)則的學(xué)習(xí)以及聚類(lèi)等。常見(jiàn)算法包括K-means Clustering ，Principal Component Analysis和Anomaly DetecTIon。

半監(jiān)督學(xué)習(xí)

 

在此學(xué)習(xí)方式下，輸入數(shù)據(jù)部分被標(biāo)識(shí)，部分沒(méi)有被標(biāo)識(shí)，這種學(xué)習(xí)模型可以用來(lái)進(jìn)行預(yù)測(cè)，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理的組織數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)。應(yīng)用場(chǎng)景包括分類(lèi)和回歸，算法包括一些對(duì)常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對(duì)標(biāo)識(shí)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。如圖論推理算法（Graph Inference）或者拉普拉斯支持向量機(jī)（Laplacian SVM.）等。

強(qiáng)化學(xué)習(xí)

 

在強(qiáng)化學(xué)習(xí)（Reinforcement Learning）中，輸入數(shù)據(jù)作為對(duì)模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)僅僅是作為一個(gè)檢查模型對(duì)錯(cuò)的方式。在強(qiáng)化學(xué)習(xí)中，輸入數(shù)據(jù)直接反饋到模型，模型必須對(duì)此立刻作出調(diào)整。常見(jiàn)的應(yīng)用場(chǎng)景包括動(dòng)態(tài)系統(tǒng)以及機(jī)器人控制等。常見(jiàn)算法包括Q-Learning以及時(shí)間差學(xué)習(xí)（Temporal difference learning）。

在企業(yè)數(shù)據(jù)應(yīng)用的場(chǎng)景下， 人們最常用的可能就是監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的模型。 在圖像識(shí)別等領(lǐng)域，由于存在大量的非標(biāo)識(shí)的數(shù)據(jù)和少量的可標(biāo)識(shí)數(shù)據(jù)， 目前半監(jiān)督式學(xué)習(xí)是一個(gè)很熱的話題。 而強(qiáng)化學(xué)習(xí)更多的應(yīng)用在機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。

算法類(lèi)似性 回歸算法

 

回歸算法是試圖采用對(duì)誤差的衡量來(lái)探索變量之間的關(guān)系的一類(lèi)算法。回歸算法是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的利器。在機(jī)器學(xué)習(xí)領(lǐng)域，人們說(shuō)起回歸，有時(shí)候是指一類(lèi)問(wèn)題，有時(shí)候是指一類(lèi)算法，這一點(diǎn)常常會(huì)使初學(xué)者有所困惑。常見(jiàn)的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（LogisTIc Regression），逐步式回歸（Stepwise Regression），多元自適應(yīng)回歸樣條（MulTIvariate Adaptive Regression Splines）以及本地散點(diǎn)平滑估計(jì)（Locally Estimated Scatterplot Smoothing）。

基于核的算法

 

基于核的算法中最著名的莫過(guò)于支持向量機(jī)（SVM）了。 基于核的算法把輸入數(shù)據(jù)映射到一個(gè)高階的向量空間， 在這些高階向量空間里， 有些分類(lèi)或者回歸問(wèn)題能夠更容易的解決。 常見(jiàn)的基于核的算法包括：支持向量機(jī)（Support Vector Machine， SVM）， 徑向基函數(shù)（Radial Basis Function ，RBF）， 以及線性判別分析（Linear Discriminate Analysis ，LDA）等。

聚類(lèi)算法

 

聚類(lèi)，就像回歸一樣，有時(shí)候人們描述的是一類(lèi)問(wèn)題，有時(shí)候描述的是一類(lèi)算法。聚類(lèi)算法通常按照中心點(diǎn)或者分層的方式對(duì)輸入數(shù)據(jù)進(jìn)行歸并。所以的聚類(lèi)算法都試圖找到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，以便按照最大的共同點(diǎn)將數(shù)據(jù)進(jìn)行歸類(lèi)。常見(jiàn)的聚類(lèi)算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。

降維算法

 

像聚類(lèi)算法一樣，降低維度算法試圖分析數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，不過(guò)降低維度算法是以非監(jiān)督學(xué)習(xí)的方式試圖利用較少的信息來(lái)歸納或者解釋數(shù)據(jù)。這類(lèi)算法可以用于高維數(shù)據(jù)的可視化或者用來(lái)簡(jiǎn)化數(shù)據(jù)以便監(jiān)督式學(xué)習(xí)使用。常見(jiàn)的算法包括：主成份分析（Principle Component Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）。

集成學(xué)習(xí)算法

 

集成算法用一些相對(duì)較弱的學(xué)習(xí)模型獨(dú)立地就同樣的樣本進(jìn)行訓(xùn)練，然后把結(jié)果整合起來(lái)進(jìn)行整體預(yù)測(cè)。集成算法的主要難點(diǎn)在于究竟集成哪些獨(dú)立的較弱的學(xué)習(xí)模型以及如何把學(xué)習(xí)結(jié)果整合起來(lái)。這是一類(lèi)非常強(qiáng)大的算法，同時(shí)也非常流行。常見(jiàn)的算法包括：Boosting， Bootstrapped Aggregation（Bagging）， AdaBoost，隨機(jī)森林（Random Forest）等。（競(jìng)賽中多用到該類(lèi)算法，效果較好）

基于實(shí)例的算法

 

基于實(shí)例的算法常常用來(lái)對(duì)決策問(wèn)題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進(jìn)行比較。通過(guò)這種方式來(lái)尋找最佳的匹配。因此，基于實(shí)例的算法常常也被稱(chēng)為“贏家通吃”學(xué)習(xí)或者“基于記憶的學(xué)習(xí)”。常見(jiàn)的算法包括 k-Nearest Neighbor（KNN）， 學(xué)習(xí)矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）。

決策樹(shù)學(xué)習(xí)

 

決策樹(shù)算法根據(jù)數(shù)據(jù)的屬性采用樹(shù)狀結(jié)構(gòu)建立決策模型， 決策樹(shù)模型常常用來(lái)解決分類(lèi)和回歸問(wèn)題。常見(jiàn)的算法包括：分類(lèi)及回歸樹(shù)（Classification And Regression Tree， CART）， ID3 （Iterative Dichotomiser 3）， C4.5， 隨機(jī)森林（Random Forest）等。

貝葉斯方法

 

貝葉斯方法算法是基于貝葉斯定理的一類(lèi)算法，主要用來(lái)解決分類(lèi)和回歸問(wèn)題。常見(jiàn)算法包括：樸素貝葉斯算法，以及Bayesian Belief Network（BBN）。

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)算法模擬生物神經(jīng)網(wǎng)絡(luò)，是一類(lèi)模式匹配算法。通常用于解決分類(lèi)和回歸問(wèn)題。它是機(jī)器學(xué)習(xí)的一個(gè)龐大的分支。重要的人工神經(jīng)網(wǎng)絡(luò)算法包括：感知器神經(jīng)網(wǎng)絡(luò)（Perceptron Neural Network）， 反向傳遞（Back Propagation）， Hopfield網(wǎng)絡(luò)，自組織映射（Self-Organizing Map， SOM）。（現(xiàn)在的深度學(xué)習(xí)就是由人工神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái)）

深度學(xué)習(xí)

常見(jiàn)的深度學(xué)習(xí)算法包括：受限波爾茲曼機(jī)（Restricted Boltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網(wǎng)絡(luò)（Convolutional Network）， 堆棧式自動(dòng)編碼器（Stacked Auto-encoders）。（發(fā)展至目前，最成功的當(dāng)屬CNN和LSTM。）