www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 智能硬件 > 人工智能AI
[導讀] 人工智能之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下K近鄰(KNN)算法。 K近鄰KNN(k-Nearest Neighbor)算法,也叫K最近鄰算法,19

人工智能之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下K近鄰(KNN)算法。

K近鄰KNN(k-Nearest Neighbor)算法,也叫K最近鄰算法,1968年由 Cover 和 Hart 提出,是機器學習算法中比較成熟的算法之一。K近鄰算法使用的模型實際上對應于對特征空間的劃分。KNN算法不僅可以用于分類,還可以用于回歸。

KNN概念:

K近鄰算法KNN就是給定一個訓練數(shù)據(jù)集,對新的輸入實例,在訓練數(shù)據(jù)集中找到與該實例最鄰近的K個實例(K個鄰居),這K個實例的多數(shù)屬于某個類,就把該輸入實例分類到這個類中。

如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別,則該樣本也屬于這個類別。K近鄰算法使用的模型實際上對應于對特征空間的劃分。

通俗地講,就是“物以類聚,人以群分”。

分類策略,就是“少數(shù)從屬于多數(shù)”。

算法描述:

KNN沒有顯示的訓練過程,在測試時,計算測試樣本和所有訓練樣本的距離,根據(jù)最近的K個訓練樣本的類別,通過多數(shù)投票的方式進行預測。具體算法描述如下:

輸入:訓練數(shù)據(jù)集T={(x1,y1),(x2,y2),...,(xn,yn)},其中xi∈Rn,yi∈{c1,c2,...,cK}和測試數(shù)據(jù)x

輸出:實例x所屬的類別

1) 根據(jù)給定的距離度量,在訓練集T中找到與x距離最近的k個樣本,涵蓋這k個點的x的鄰域記作Nk(x)。

2)在Nk(x)中根據(jù)分類規(guī)則(如多數(shù)表決)確定x的類別y:

核心思想:

當無法判定當前待分類點是從屬于已知分類中的哪一類時,依據(jù)統(tǒng)計學的理論看它所處的位置特征,衡量它周圍鄰居的權(quán)重,而把它歸為到權(quán)重更大的那一類中。

kNN的輸入是測試數(shù)據(jù)和訓練樣本數(shù)據(jù)集,輸出是測試樣本的類別。

KNN算法中,所選擇的鄰居都是已經(jīng)正確分類的對象。KNN算法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。

算法要素:

KNN 算法有3個基本要素:

1)K值的選擇:K值的選擇會對算法的結(jié)果產(chǎn)生重大影響。K值較小意味著只有與輸入實例較近的訓練實例才會對預測結(jié)果起作用,但容易發(fā)生過擬合;如果 K 值較大,優(yōu)點是可以減少學習的估計誤差,但缺點是學習的近似誤差增大,這時與輸入實例較遠的訓練實例也會對預測起作用,使預測發(fā)生錯誤。在實際應用中,K 值一般選擇一個較小的數(shù)值,通常采用交叉驗證的方法來選擇最優(yōu)的 K 值。隨著訓練實例數(shù)目趨向于無窮和 K=1 時,誤差率不會超過貝葉斯誤差率的2倍,如果K也趨向于無窮,則誤差率趨向于貝葉斯誤差率。

2)距離度量:距離度量一般采用 Lp 距離,當p=2時,即為歐氏距離,在度量之前,應該將每個屬性的值規(guī)范化,這樣有助于防止具有較大初始值域的屬性比具有較小初始值域的屬性的權(quán)重過大。

對于文本分類來說,使用余弦(cosine)來計算相似度就比歐式(Euclidean)距離更合適。

3)分類決策規(guī)則:該算法中的分類決策規(guī)則往往是多數(shù)表決,即由輸入實例的K個最臨近的訓練實例中的多數(shù)類決定輸入實例的類別。

算法流程:

1)準備數(shù)據(jù),對數(shù)據(jù)進行預處理。

2)選用合適的數(shù)據(jù)結(jié)構(gòu)存儲訓練數(shù)據(jù)和測試元組。

3)設定參數(shù),如K。

4)維護一個距離由大到小的優(yōu)先級隊列(長度為K),用于存儲最近鄰訓練元組。隨機從訓練元組中選取K個元組作為初始的最近鄰元組,分別計算測試元組到這K個元組的距離,將訓練元組標號和距離存入優(yōu)先級隊列。

5)遍歷訓練元組集,計算當前訓練元組與測試元組的距離,將所得距離L與優(yōu)先級隊列中的最大距離Lmax。

6)進行比較。若L>=Lmax,則舍棄該元組,遍歷下一個元組。若L<Lmax,刪除優(yōu)先級隊列中最大距離的元組,將當前訓練元組存入優(yōu)先級隊列。

7)遍歷完畢,計算優(yōu)先級隊列中K個元組的多數(shù)類,并將其作為測試元組的類別。

8)測試元組集測試完畢后計算誤差率,繼續(xù)設定不同的K值重新進行訓練,最后取誤差率最小的K值。

算法優(yōu)點:

1)KNN從原理上也依賴于極限定理,但在類別決策時,只與極少量的相鄰樣本有關。

2)由于KNN方法主要靠周圍有限的鄰近的樣本,而不是靠判別類域的方法來確定所屬類別的,因此對于類域的交叉或重疊較多的待分樣本集來說,KNN方法較其他方法更為適合。

3)算法本身簡單有效,精度高,對異常值不敏感,易于實現(xiàn),無需估計參數(shù),分類器不需要使用訓練集進行訓練,訓練時間復雜度為0。

4)KNN 分類的計算復雜度和訓練集中的文檔數(shù)目成正比,即,如果訓練集中文檔總數(shù)為n,那么KNN的分類時間復雜度為O(n)。

5)適合對稀有事件進行分類。

6)特別適合于多分類問題(mulTI-modal),對象具有多個類別標簽,kNN比SVM的表現(xiàn)要好。

算法缺點:

1)當樣本不平衡時,樣本數(shù)量并不能影響運行結(jié)果。

2)算法計算量較大;

3)可理解性差,無法給出像決策樹那樣的規(guī)則。

改進策略:

KNN算法因其提出時間較早,隨著其他技術的不斷更新和完善,KNN算法逐漸顯示出諸多不足之處,因此許多KNN算法的改進算法也應運而生。算法改進目標主要朝著分類效率和分類效果兩個方向。

改進1:通過找出一個樣本的k個最近鄰居,將這些鄰居的屬性的平均值賦給該樣本,就可以得到該樣本的屬性。

改進2:將不同距離的鄰居對該樣本產(chǎn)生的影響給予不同的權(quán)值(weight),如權(quán)值與距離成反比(1/d),即和該樣本距離小的鄰居權(quán)值大,稱為可調(diào)整權(quán)重的K最近鄰居法WAKNN(weighted adjusted K nearestneighbor)。但WAKNN會造成計算量增大,因為對每一個待分類的文本都要計算它到全體已知樣本的距離,才能求得它的K個最近鄰點。

改進3:事先對已知樣本點進行剪輯(ediTIng技術),事先去除(condensing技術)對分類作用不大的樣本。該算法比較適用于樣本容量比較大的類域的自動分類,而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分。

考慮因素:

實現(xiàn) K 近鄰算法時,主要考慮的因素是如何對訓練數(shù)據(jù)進行快速 K 近鄰搜索,這在特征空間維數(shù)大及訓練數(shù)據(jù)容量大時是非常必要的。

應用場景:

K 近鄰算法應用場景包括機器學習、字符識別、文本分類、圖像識別等領域。

結(jié)語:

K近鄰算法KNN,也叫K最近鄰算法,是機器學習研究的一個活躍領域。最簡單的暴力算法,比較適合小數(shù)據(jù)樣本。K近鄰算法使用的模型實際上對應于對特征空間的劃分。KNN算法不僅可以用于分類,還可以用于回歸。KNN算法在人工智能之機器學習、字符識別、文本分類、圖像識別等領域有著廣泛應用。

本站聲明: 本文章由作者或相關機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉