www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 智能硬件 > 人工智能AI
[導讀]   機器學習必將會設計算法的優(yōu)化問題,主要是實現(xiàn)Platt SMO算法,那么,下面本文對SVM的優(yōu)化進行了介紹,主要實現(xiàn)了Platt SMO算法優(yōu)化SVM模型,并嘗試使用遺傳算法框架GAFT對初

  機器學習必將會設計算法的優(yōu)化問題,主要是實現(xiàn)Platt SMO算法,那么,下面本文對SVM的優(yōu)化進行了介紹,主要實現(xiàn)了Platt SMO算法優(yōu)化SVM模型,并嘗試使用遺傳算法框架GAFT對初始SVM進行了優(yōu)化。

  SMO中啟發(fā)式選擇變量

  在SMO算法中,我們每次需要選取一對α來進行優(yōu)化,通過啟發(fā)式的選取我們可以更高效的選取待優(yōu)化的變量使得目標函數(shù)下降的最快。

  針對第一個α1和第二個α2 Platt SMO采取不同的啟發(fā)式手段。

  第一個變量的選擇

  第一個變量的選擇為外循環(huán),與之前便利整個αα列表不同,在這里我們在整個樣本集和非邊界樣本集間進行交替:

  首先我們對整個訓練集進行遍歷, 檢查是否違反KKT條件,如果改點的αiαi和xi,yixi,yi違反了KKT條件則說明改點需要進行優(yōu)化。

  Karush-Kuhn-Tucker(KKT)條件是正定二次規(guī)劃問題最優(yōu)點的充分必要條件。針對SVM對偶問題,KKT條件非常簡單:

  

  在遍歷了整個訓練集并優(yōu)化了相應的α后第二輪迭代我們僅僅需要遍歷其中的非邊界α。 所謂的非邊界α就是指那些不等于邊界0或者C的α值。 同樣這些點仍然需要檢查是否違反KKT條件并進行優(yōu)化。

  之后就是不斷地在兩個數(shù)據(jù)集中來回交替,最終所有的α都滿足KKT條件的時候,算法中止。

  為了能夠快速選取有最大步長的α,我們需要對所有數(shù)據(jù)對應的誤差進行緩存,因此特地寫了個SVMUTIl類來保存svm中重要的變量以及一些輔助方法:

  

  下面為第一個變量選擇交替遍歷的大致代碼,相應完整的Python實現(xiàn)(完整實現(xiàn)見https://github.com/PytLab/MLBox/blob/master/svm/svm_platt_smo.py):

  

  第二個變量的選擇

  SMO中的第二個變量的選擇過程為內循環(huán),當我們已經(jīng)選取第一個α1之后,我們希望我們選取的第二個變量α2優(yōu)化后能有較大的變化。根據(jù)我們之前推導的式子

  

  可以知道,新的α2的變化依賴于|E1−E2|, 當E1為正時, 那么選擇最小的Ei作為E2,通常將每個樣本的Ei緩存到一個列表中,通過在列表中選擇具有|E1−E2|的α2來近似最大化步長。

  有時候按照上述的啟發(fā)式方式仍不能夠是的函數(shù)值有足夠的下降,這是按下述步驟進行選擇:

  在非邊界數(shù)據(jù)集上選擇能夠使函數(shù)值足夠下降的樣本作為第二個變量

  如果非邊界數(shù)據(jù)集上沒有,則在整個數(shù)據(jù)僅上進行第二個變量的選擇

  如果仍然沒有則重新選擇第一個α1

  第二個變量選取的Python實現(xiàn):

  

  KKT條件允許一定的誤差

  在Platt論文中的KKT條件的判斷中有一個tolerance允許一定的誤差,相應的Python實現(xiàn):

  

  關于Platt SMO的完整實現(xiàn)詳見:https://github.com/PytLab/MLBox/blob/master/svm/svm_platt_smo.py

  針對之前的數(shù)據(jù)集我們使用Platt SMO進行優(yōu)化可以得到:

  

  將分割線和支持向量可視化:

  

  可見通過Platt SMO優(yōu)化出來的支持向量與簡化版的SMO算法有些許不同。

  使用遺傳算法優(yōu)化SVM

  由于最近自己寫了個遺傳算法框架,遺傳算法作為一個啟發(fā)式無導型的搜索算法非常易用,于是我就嘗試使用遺傳算法來優(yōu)化SVM。

  使用遺傳算法優(yōu)化,我們就可以直接優(yōu)化SVM的最初形式了也就是最直觀的形式:

  

  順便再安利下自己的遺傳算法框架,在此框架的幫助下,優(yōu)化SVM算法我們只需要寫幾十行的Python代碼即可。其中最主要的就是編寫適應度函數(shù),根據(jù)上面的公式我們需要計算數(shù)據(jù)集中每個點到分割線的距離并返回最小的距離即可,然后放到遺傳算法中進行進化迭代。

  遺傳算法框架GAFT項目地址: https://github.com/PytLab/gaft , 使用方法詳見README。

  Ok, 我們開始構建種群用于進化迭代。

  創(chuàng)建個體與種群

  對于二維數(shù)據(jù)點,我們需要優(yōu)化的參數(shù)只有三個也就是[w1,w2]和b, 個體的定義如下:

  

  種群大小這里取600,創(chuàng)建種群

  

  創(chuàng)建遺傳算子和GA引擎

  這里沒有什么特別的,直接使用框架中內置的算子就好了。

  

  適應度函數(shù)

  這一部分只要把上面svm初始形式描述出來就好了,只需要三行代碼:

  

  開始迭代

  這里迭代300代種群

  

  繪制遺傳算法優(yōu)化的分割線

  

  得到的分割曲線如下圖:

  

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉