www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 智能硬件 > 人工智能AI
[導讀] 最近打算系統(tǒng)學習下機器學習的基礎算法,避免眼高手低,決定把常用的機器學習基礎算法都實現(xiàn)一遍以便加深印象。本文為這系列博客的第一篇,關于決策樹(Decision Tree)的算法實現(xiàn),文中我將對決

最近打算系統(tǒng)學習下機器學習的基礎算法,避免眼高手低,決定把常用的機器學習基礎算法都實現(xiàn)一遍以便加深印象。本文為這系列博客的第一篇,關于決策樹(Decision Tree)的算法實現(xiàn),文中我將對決策樹種涉及到的算法進行總結(jié)并附上自己相關的實現(xiàn)代碼。所有算法代碼以及用于相應模型的訓練的數(shù)據(jù)都會放到GitHub上。

本文中我將一步步通過MLiA的隱形眼鏡處方數(shù)集構建決策樹并使用Graphviz將決策樹可視化。

決策樹學習

決策樹學習是根據(jù)數(shù)據(jù)的屬性采用樹狀結(jié)構建立的一種決策模型,可以用此模型解決分類和回歸問題。常見的算法包括 CART, ID3, C4.5等。我們往往根據(jù)數(shù)據(jù)集來構建一棵決策樹,他的一個重要任務就是為了數(shù)據(jù)中所蘊含的知識信息,并提取出一系列的規(guī)則,這些規(guī)則也就是樹結(jié)構的創(chuàng)建過程就是機器學習的過程。

決策樹的結(jié)構

以下面一個簡單的用于是否買電腦預測的決策樹為例子,樹中的內(nèi)部節(jié)點表示某個屬性,節(jié)點引出的分支表示此屬性的所有可能的值,葉子節(jié)點表示最終的判斷結(jié)果也就是類型。

借助可視化工具例如Graphviz,matplotlib的注解等等都可以講我們創(chuàng)建的決策樹模型可視化并直接被人理解,這是貝葉斯神經(jīng)網(wǎng)絡等算法沒有的特性。

決策樹算法

決策樹算法主要是指決策樹進行創(chuàng)建中進行樹分裂(劃分數(shù)據(jù)集)的時候選取最優(yōu)特征的算法,他的主要目的就是要選取一個特征能夠?qū)⒎珠_的數(shù)據(jù)集盡量的規(guī)整,也就是盡可能的純. 最大的原則就是: 將無序的數(shù)據(jù)變得更加有序。

這里總結(jié)下三個常用的方法:
1.信息增益
2.增益比率
3.基尼不純度

信息增益

這里涉及到了信息論中的一些概念:某個事件的信息量,信息熵,信息增益等, 關于事件信息的通俗解釋可以看知乎上的一個回答

某個事件 i 的信息量: 這個事件發(fā)生的概率的負對數(shù)

信息熵就是平均而言一個事件發(fā)生得到的信息量大小,也就是信息量的期望值

任何一個序列都可以獲取這個序列的信息熵,也就是將此序列分類后統(tǒng)計每個類型的概率,再用上述公式計算,使用Python實現(xiàn)如下:
def get_shanno_entropy(self, values):
''' 根據(jù)給定列表中的值計算其Shanno Entropy
'''
uniq_vals = set(values)
val_nums = {key: values.count(key) for key in uniq_vals}
probs = [v/len(values) for k, v in val_nums.items()]
entropy = sum([-prob*log2(prob) for prob in probs])
return entropy

信息增益

我們將一組數(shù)據(jù)集進行劃分后,數(shù)據(jù)的信息熵會發(fā)生改變,我們可以通過使用信息熵的計算公式分別計算被劃分的子數(shù)據(jù)集的信息熵并計算他們的平均值(期望值)來作為分割后的數(shù)據(jù)集的信息熵。新的信息熵的相比未劃分數(shù)據(jù)的信息熵的減小值便是信息增益了. 這里我在最初就理解錯了,于是寫出的代碼并不能創(chuàng)建正確的決策樹。

假設我們將數(shù)據(jù)集D劃分成kk 份D1,D2,…,Dk,則劃分后的信息熵為:

信息增益便是兩個信息熵的差值

在這里我主要使用信息增益來進行屬性選擇,具體的實現(xiàn)代碼如下:
def choose_best_split_feature(self, dataset, classes):
''' 根據(jù)信息增益確定最好的劃分數(shù)據(jù)的特征

:param dataset: 待劃分的數(shù)據(jù)集
:param classes: 數(shù)據(jù)集對應的類型

:return: 劃分數(shù)據(jù)的增益最大的屬性索引
'''
base_entropy = self.get_shanno_entropy(classes)

feat_num = len(dataset[0])
entropy_gains = []
for i in range(feat_num):
splited_dict = self.split_dataset(dataset, classes, i)
new_entropy = sum([
len(sub_classes)/len(classes)*self.get_shanno_entropy(sub_classes)
for _, (_, sub_classes) in splited_dict.items()
])
entropy_gains.append(base_entropy - new_entropy)

return entropy_gains.index(max(entropy_gains))

增益比率

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉