機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，通過經(jīng)驗(yàn)學(xué)習(xí)和適應(yīng)的技術(shù)來使計(jì)算機(jī)模仿人類認(rèn)知。其特征是基于經(jīng)驗(yàn)和模式學(xué)習(xí)，而非基于推論（原因和結(jié)果）學(xué)習(xí)。目前，機(jī)器學(xué)習(xí)方面的深度學(xué)習(xí)已經(jīng)能夠自主建立模式識(shí)別模型，而無需再依靠人類來構(gòu)建模型。

傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)很難檢測到隨著時(shí)間推移而演變的新一代惡意軟件和網(wǎng)絡(luò)攻擊，基于ML的動(dòng)態(tài)網(wǎng)絡(luò)安全解決方案能夠利用以前的網(wǎng)絡(luò)攻擊數(shù)據(jù)來應(yīng)對更新但相似的風(fēng)險(xiǎn)。使用AI來加強(qiáng)網(wǎng)絡(luò)安全可以為用戶系統(tǒng)提供更多保護(hù)，如通過自動(dòng)化復(fù)雜流程來檢測攻擊并對違規(guī)行為做出反應(yīng)等。

隨著模式識(shí)別模型在檢測網(wǎng)絡(luò)安全威脅時(shí)變得更為有效，黑客將針對底層模型的工作和學(xué)習(xí)機(jī)制展開研究，尋找混淆模型的有效方法來規(guī)避模型的識(shí)別，并有望建立起屬于攻擊者自己的AI和機(jī)器學(xué)習(xí)工具來發(fā)動(dòng)攻擊。

下面筆者將與諸君共同分享攻擊者將會(huì)如何利用AI來達(dá)到目的。

大部分惡意軟件都是通過人工方式生成的，攻擊者會(huì)編寫腳本來生成電腦病毒和特洛伊木馬，并利用Rootkit、密碼抓取和其他工具協(xié)助分發(fā)和執(zhí)行。

這個(gè)過程能加快么？機(jī)器學(xué)習(xí)可以幫助創(chuàng)建惡意軟件嗎？

機(jī)器學(xué)習(xí)方法是用作檢測惡意可執(zhí)行文件的有效工具，利用從惡意軟件樣本中檢索到的數(shù)據(jù)（如標(biāo)題字段、指令序列甚至原始字節(jié)）進(jìn)行學(xué)習(xí)可以建立區(qū)分良性和惡意軟件的模型。然而分析安全情報(bào)能夠發(fā)現(xiàn)，機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)存在被躲避攻擊（也稱為對抗樣本）所迷惑的可能。

2017年，第一個(gè)公開使用機(jī)器學(xué)習(xí)創(chuàng)建惡意軟件的例子在論文《GeneraTIng Adversarial Malware Examples for Black-Box Attacks Based on GAN》中被提出。惡意軟件作者通常無法訪問到惡意軟件檢測系統(tǒng)所使用機(jī)器學(xué)習(xí)模型的詳細(xì)結(jié)構(gòu)和參數(shù)，因此他們只能執(zhí)行黑盒攻擊。論文揭示了如何通過構(gòu)建生成對抗網(wǎng)絡(luò)（generaTIve adversarial network， GAN）算法來生成對抗惡意軟件樣本，這些樣本能夠繞過基于機(jī)器學(xué)習(xí)的黑盒檢測系統(tǒng)。

如果網(wǎng)絡(luò)安全企業(yè)的AI可以學(xué)習(xí)識(shí)別潛在的惡意軟件，那么“黑客AI”就能夠通過觀察學(xué)習(xí)防惡意軟件AI做出決策，使用該知識(shí)來開發(fā)“最小程度被檢測出”的惡意軟件。2017 DEFCON會(huì)議上，安全公司Endgame透露了如何使用Elon Musk的OpenAI框架生成定制惡意軟件，且所創(chuàng)建的惡意軟件無法被安全引擎檢測發(fā)現(xiàn)。Endgame的研究是基于看起來有惡意的二進(jìn)制文件，通過改變部分代碼，改變后的代碼可以躲避防病毒引擎檢測。

今年3月發(fā)表的論文《Adversarial Malware Binaries： Evading Deep Learning for Malware DetecTIon in Executables》通過研究使用深度網(wǎng)絡(luò)從原始字節(jié)中學(xué)習(xí)惡意軟件檢測方法所存在的漏洞，提出了一種基于梯度的攻擊：輸入數(shù)據(jù)的微小變化會(huì)導(dǎo)致在測試時(shí)的錯(cuò)誤分類，因此只需在每個(gè)惡意軟件樣本末尾更改少量特定字節(jié)，就可在保留其入侵功能的同時(shí)逃避安全檢測。結(jié)果顯示修改少于1%的字節(jié)，對抗惡意軟件二進(jìn)制就可以高概率躲避安全檢測。

對抗機(jī)器學(xué)習(xí)的一個(gè)更明顯的應(yīng)用是使用智能社會(huì)工程中的文本到語音轉(zhuǎn)換、語音識(shí)別和自然語言處理類似算法，通過時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)教授軟件的電子郵件寫作風(fēng)格，使其真實(shí)性、可信性得以增強(qiáng)。因此從理論上來說，網(wǎng)絡(luò)釣魚郵件可能將變得更加復(fù)雜和可信。

在邁克菲實(shí)驗(yàn)室2017年預(yù)測中表示，犯罪分子將越來越多地利用機(jī)器學(xué)習(xí)來分析大量被盜記錄，以識(shí)別潛在受害者，并構(gòu)建能夠更加有效針對這些人的內(nèi)容詳盡的釣魚類電子郵件。

此外，在2016年美國黑帽會(huì)議上，John Seymour和Philip Tully發(fā)表了題為《Weaponzing data secience for social engineering:automated E2E spear phishing on Twitter》的論文，提出一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)SNAP_R，學(xué)習(xí)如何向特定用戶發(fā)布網(wǎng)絡(luò)釣魚帖子在這里魚叉式釣魚將用戶發(fā)布的帖子作為訓(xùn)練測試數(shù)據(jù)，根據(jù)目標(biāo)用戶（包括發(fā)布或跟帖用戶）時(shí)間軸帖子中的主題動(dòng)態(tài)播種會(huì)使得釣魚帖子更有可能被點(diǎn)擊。通過在Twitter社交平臺(tái)上測試發(fā)現(xiàn)，為用戶量身定做的釣魚帖子，其點(diǎn)擊率是有史以來所報(bào)道過大規(guī)模釣魚攻擊活動(dòng)中最高的。

目前，對人和機(jī)器的區(qū)分主要采用“全自動(dòng)區(qū)分計(jì)算機(jī)和人類的公開圖靈測試”（Completely Automated Public Turing test to tell Computers and Humans Apart，CAPTCHA），俗稱驗(yàn)證碼，以防止人們使用自動(dòng)化機(jī)器人在網(wǎng)站上設(shè)置虛假帳戶。在登錄網(wǎng)站時(shí)，用戶必須通過解決視覺難題來證明他們是人類，而這需要識(shí)別以某種方式失真或動(dòng)畫化的字母、數(shù)字、符號(hào)或?qū)ο?。reCAPTCHA項(xiàng)目是由卡內(nèi)基梅隆大學(xué)所發(fā)展的系統(tǒng)，主要目的是利用CAPTCHA技術(shù)來幫助典籍?dāng)?shù)字化的進(jìn)行，這個(gè)項(xiàng)目將由書本掃描下來無法準(zhǔn)確被光學(xué)文字辨識(shí)技術(shù)（OCR， OpTIcal Character Recognition）識(shí)別的文字顯示在CAPTCHA問題中，讓人類在回答CAPTCHA問題時(shí)用人腦加以識(shí)別這些文字。

早在2012年，研究人員Claudia Cruz、Fernando Uceda和Leobardo Reyes就發(fā)布了一個(gè)機(jī)器學(xué)習(xí)安全攻擊的例子。他們使用支持向量機(jī)（SVM）以82%的精度破解了圖像運(yùn)行系統(tǒng)reCAPTCHA，也正因此所有驗(yàn)證碼機(jī)制都進(jìn)行了針對性的安全改進(jìn)，面對這些新型驗(yàn)證碼系統(tǒng)研究人員則開始嘗試使用深度學(xué)習(xí)技術(shù)予以破解。

Vicarious一直在開發(fā)針對概率生成模型Recursive Cortical Network（RCN）的算法，旨在通過分析圖像中的像素來識(shí)別物體，以查看它們是否與物體的輪廓匹配。2013年，Vicarious宣布它已經(jīng)破解了Google、Yahoo、PayPal和Captcha.com使用的基于文本的驗(yàn)證碼測試，其準(zhǔn)確率達(dá)到了90%。標(biāo)準(zhǔn)的reCAPTCHA測試中，軟件可成功解開三分之二的驗(yàn)證問題。在機(jī)器人檢測系統(tǒng)測試中，雅虎驗(yàn)證碼的成功率為57.4%，PayPal的成功率為57.1%。

去年BlackHat上的“我是機(jī)器人”研究揭示了研究人員如何破解最新的語義圖像CAPTCHA，并比較了各種機(jī)器學(xué)習(xí)算法。

《Cracking Classifiers for Evasion： A Case Study on the Google’s Phishing Pages Filter》指出，Google中的釣魚網(wǎng)頁分類器是通過機(jī)器學(xué)習(xí)訓(xùn)練得到的，攻擊者利用逆向工程技術(shù)獲取到分類器的部分信息后，藉此所生成的新釣魚網(wǎng)頁能夠以100%的成功率繞開Google的釣魚網(wǎng)頁分類器。早期開發(fā)的分類器屬于研究性質(zhì)，在部署于客戶端環(huán)境中時(shí)，其安全性并沒有得到應(yīng)有的重視。

研究客戶端分類器安全挑戰(zhàn)所選取的案例為部署在Chrome瀏覽器上、用戶數(shù)量超過十億的谷歌釣魚網(wǎng)頁過濾器（Google’s phishing pages filter ，GPPF），針對客戶端分類器的新攻擊方法被稱為分類器破解。成功破解GPPF分類模型，可以從中獲得足夠知識(shí)（包括分類算法、得分規(guī)則和特征等）以進(jìn)行有效的躲避攻擊。攻擊者通過逆向工程能夠獲取到84.8%的評(píng)分規(guī)則，其中覆蓋了大部分的高權(quán)重規(guī)則。基于這些破解信息實(shí)施針對GPPF的兩種規(guī)避攻擊，在100個(gè)真正的釣魚網(wǎng)頁進(jìn)行測試后發(fā)現(xiàn)，所有釣魚網(wǎng)頁（100%）都可以很容易地繞過GPPF檢測。研究表明現(xiàn)有的客戶端分類器很容易受到分類器針對性攻擊。

一個(gè)更加簡單而有效的AI利用技術(shù)是讓用于檢測惡意軟件的機(jī)器學(xué)習(xí)引擎“中毒”，使其無效，就像過去犯罪分子對殺毒引擎所做的一樣。機(jī)器學(xué)習(xí)模型需要從輸入數(shù)據(jù)中進(jìn)行學(xué)習(xí)，如果該數(shù)據(jù)池“中毒”，則輸出也會(huì)“中毒”。深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量的計(jì)算資源，因此，許多用戶在云端進(jìn)行訓(xùn)練或依靠預(yù)先訓(xùn)練的模型進(jìn)行識(shí)別，并針對特定任務(wù)進(jìn)行微調(diào)。紐約大學(xué)的研究人員在論文《BadNets： Identifying Vulnerabilities in the Machine Learning Model Supply Chain》中展示了外部訓(xùn)練的神經(jīng)網(wǎng)絡(luò)存在的漏洞：對手能產(chǎn)生一個(gè)惡意的訓(xùn)練網(wǎng)絡(luò)（后門神經(jīng)網(wǎng)絡(luò)或BadNets），同時(shí)在MNIST數(shù)字識(shí)別和交通標(biāo)志檢測任務(wù)中展示了BadNets攻擊的有效性。

黑客正在越來越多的利用AI漏洞構(gòu)建“對抗樣本”進(jìn)行躲避攻擊，目前所能采取的應(yīng)對措施主要是：用博弈論或者概率模型預(yù)測攻擊策略構(gòu)造更強(qiáng)健的分類器，采用多個(gè)分類器系統(tǒng)增加規(guī)避難度，并優(yōu)化特征選擇來制作特征平均分配等。更多的AI攻擊應(yīng)對方法還在探索之中。