怎么做機(jī)器學(xué)習(xí)特征處理?3種機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)方法概述!
掃描二維碼
隨時(shí)隨地手機(jī)看文章
在下述的內(nèi)容中,小編將會對機(jī)器學(xué)習(xí)的相關(guān)消息予以報(bào)道,如果機(jī)器學(xué)習(xí)是您想要了解的焦點(diǎn)之一,不妨和小編共同閱讀這篇文章哦。
一、3種機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)方法
1.支持向量機(jī)
支持向量機(jī)是追求極致的,它要在所有的可行解里面,找到唯一的最優(yōu)解。在二維平面里,這個(gè)解是一條唯一的線,在三維空間里,這個(gè)解是一個(gè)唯一的面,那么,在N維空間里,這個(gè)解就是唯一的超平面了。而用于尋找這個(gè)解的樣本點(diǎn),就稱之為支持向量。
核函數(shù)是支持向量機(jī)里的大殺器,與人們所說的“降維打擊”類似,核函數(shù)是要通過升維的方式去解決問題。如果在當(dāng)下的困境里找不到答案,那就嘗試在更高的維度里去破局。
2.神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)引入了生物學(xué)里神經(jīng)元的概念。每一個(gè)神經(jīng)元都是簡單的,有輸入和權(quán)重,有閾值和輸出,但是用眾多神經(jīng)元搭建起多層網(wǎng)絡(luò),網(wǎng)絡(luò)之間又相互聯(lián)系時(shí),這個(gè)問題就變得復(fù)雜了。在2006年后,神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)身為深度學(xué)習(xí),成就了無數(shù)或神秘或偉大的商業(yè)故事。
在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中,有一個(gè)很有意思的事情,就是局部最優(yōu)和全局最優(yōu)。模型訓(xùn)練中容易陷入局部最優(yōu)的困境,停止搜索最優(yōu)解,就像我們很多時(shí)候做事情,只是做好了,但是并不夠好。為了解決這個(gè)問題,人們設(shè)計(jì)了模擬退火,隨機(jī)梯度下降等多種訓(xùn)練策略。
3.集成學(xué)習(xí)
集成學(xué)習(xí)的理念,是“好而不同”。對于一個(gè)問題,如果通過單一模型始終給不出最優(yōu)解,不如集成幾個(gè)好而不同的子模型,可能會獲得性能優(yōu)異的效果。三個(gè)臭皮匠,勝過諸葛亮。每個(gè)臭皮匠都有不足,但各有各的優(yōu)點(diǎn),而諸葛亮作為單一模型已是極致,卻仍有局限。
集成學(xué)習(xí)有兩個(gè)分支,如果子模型串行生成,則是Boost,如果子模型并行生成,則是Bagging。Boost強(qiáng)調(diào)的是一個(gè)一個(gè)上,針對前一個(gè)子模型的缺陷,通過下一個(gè)子模型去補(bǔ)足,xgBoost和GBDT都是其中的代表;Bagging強(qiáng)調(diào)的則是一起上,群架好過單挑,通過學(xué)習(xí)不同的樣本,生成不同的子模型。Bagging的一個(gè)變體隨機(jī)森林,便是這一類模型的優(yōu)秀代表。
二、機(jī)器學(xué)習(xí)特征處理
1.特征構(gòu)建
特征構(gòu)建是指從原始數(shù)據(jù)中人工的找出一些具有實(shí)際意義的特征。需要花時(shí)間去觀察原始數(shù)據(jù),思考問題的潛在形式和數(shù)據(jù)結(jié)構(gòu),對數(shù)據(jù)敏感性和機(jī)器學(xué)習(xí)實(shí)戰(zhàn)經(jīng)驗(yàn)?zāi)軒椭卣鳂?gòu)建。除此之外,屬性分割和結(jié)合是特征構(gòu)建時(shí)常使用的方法。特征構(gòu)建是個(gè)非常麻煩的問題,書里面也很少提到具體的方法,需要對問題有比較深入的理解。
2.特征抽取
一些觀測數(shù)據(jù)如果直接建模,其原始狀態(tài)的數(shù)據(jù)太多。像圖像、音頻和文本數(shù)據(jù),如果將其看做是表格數(shù)據(jù),那么其中包含了數(shù)以千計(jì)的屬性。特征抽取是自動地對原始觀測降維,使其特征集合小到可以進(jìn)行建模的過程。通??刹捎弥鞒煞址治?PCA)、線性判別分析(LDA))等方法;對于圖像數(shù)據(jù),可以進(jìn)行線(line)或邊緣(edge)的提取;根據(jù)相應(yīng)的領(lǐng)域,圖像、視頻和音頻數(shù)據(jù)可以有很多數(shù)字信號處理的方法對其進(jìn)行處理。
3.特征選擇
不同的特征對模型的準(zhǔn)確度的影響不同,有些特征與要解決的問題不相關(guān),有些特征是冗余信息,這些特征都應(yīng)該被移除掉。特征選擇是自動地選擇出對于問題最重要的那些特征子集的過程。常用的特征選擇方法可以分為3類:過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。
總的來說,數(shù)據(jù)會存在各種各樣的問題,針對這些問題我們的特征工程給出了相應(yīng)的解決辦法:
1. 特征解釋能力不足,我們可以嘗試使用特征構(gòu)建,對數(shù)據(jù)進(jìn)行升維來提升特征解釋能力;
2. 特征冗余,維度太高,噪聲太多,我們可以通過特征抽取和特征選擇,來對數(shù)據(jù)進(jìn)行降維去噪,提煉特征。當(dāng)然還有其他的特征處理方法,一般需要根據(jù)具體問題而定。
以上便是小編此次想要和大家共同分享的有關(guān)機(jī)器學(xué)習(xí)的內(nèi)容,如果你對本文內(nèi)容感到滿意,不妨持續(xù)關(guān)注我們網(wǎng)站喲。最后,十分感謝大家的閱讀,have a nice day!