最近這段時間,機器學習吸引了媒體和從業(yè)者大量的關(guān)注。的確,機器學習是一種變革性的技術(shù)。但是,盡管眾人對這個話題喋喋不休,盡管風投為機器學習提供了許多資金,盡管谷歌讓這個領(lǐng)域變得令人矚目——在核心的技術(shù)領(lǐng)袖圈之外,機器學習仍然很少能獲得正確的理解。
這就導致了對于機器學習這一變革性技術(shù)的未來的低估,而從商者也會因此無緣于了解他們應(yīng)該為機器學習時代做好怎樣的準備。
讓我們討論一下這把劍的兩面吧——也就是它的潛力與陷阱。先從定義開始。
機器學習是一種算法,可以從數(shù)據(jù)中進行學習并作出預測。通常來說,運用這種技術(shù)時,越多的數(shù)據(jù)就能帶來越好的結(jié)果。機器學習并不需要明確的規(guī)則來生成結(jié)果。它不需要人工建構(gòu)的“如果這樣的話,那么就那樣”之類的結(jié)構(gòu),而是根據(jù)數(shù)據(jù)自行決定這一切。
機器學習的變革性作用,以及為何它現(xiàn)在如此重要,是因為我們來到了數(shù)據(jù)、運算能力以及算法復雜度的轉(zhuǎn)折點。
這三個方面的進展匯合,造就了機器學習的一鳴驚人。這似乎有一些像妄想——為了能夠在現(xiàn)在發(fā)生這樣的事,在過去已經(jīng)籌備了相當長的時間。讓我們仔細看看這三個方面:
數(shù)據(jù)新數(shù)據(jù)庫技術(shù)的出現(xiàn)(比如Hadoop)已經(jīng)讓獲取海量數(shù)據(jù)的成本降低到令人吃驚的程度,以至于企業(yè)不再需要選擇什么數(shù)據(jù)需要保留、什么數(shù)據(jù)需要刪除,而是簡單地存儲一切數(shù)據(jù)。如果數(shù)據(jù)的價值在今天還不太明顯,不久之后也許人們就會漸漸地意識到這一點。這為對于數(shù)據(jù)始終貪得無厭的機器學習算法提供了大量的“養(yǎng)分”。
運算能力運算能力方面的進展仍然在以讓人驚訝的速度持續(xù)著。摩爾定律失效的預言已經(jīng)過去了許多年,而Intel、IBM、Nvidia以及其他機構(gòu)的研究人員們接二連三地不斷創(chuàng)新,讓摩爾定律一直保持成立、沒有失效。要解決大問題?沒問題,加上幾十或者幾百個核,根據(jù)需求來就好。不過,這也有極限,因為不是所有問題都能被這樣暴力破解。
算法復雜度有趣的是,算法復雜度是與數(shù)據(jù)和運算相關(guān)的。由于這兩個領(lǐng)域的進展,更徹底地探索復雜算法成為了可能。例如拓撲數(shù)據(jù)分析——它需要運算能力發(fā)展到能夠從許多運算角(algorithmic angles)來看待大量數(shù)據(jù)集。
機器學習的變革性在于,它大幅地降低了高性能結(jié)果的運算時間。研究人員們已經(jīng)在圖像識別問題上花費了數(shù)十年的時間,但Google轉(zhuǎn)向機器學習算法后僅僅幾個季度就高效地在這個問題上做到了完美的表現(xiàn)??紤]到Google擁有的素材數(shù)量和團隊的熟練程度,幾乎沒有人有可能在這個領(lǐng)域再勝過Google。
這一類的創(chuàng)新在不少企業(yè)都發(fā)生著,特別是那些雇傭了絕大多數(shù)機器學習人才的公司,包括Google、Facebook、Amazon、Apple、IBM、GE,以及高度專注于顛覆特定應(yīng)用或是行業(yè)的一些初創(chuàng)公司。
這些公司在機器學習方面投資甚巨,這是因為投資能帶來指數(shù)級的增長回報。在一個機器學習帶來的指數(shù)級增長的世界中,即使只是少了10%的增長也會導致落于人后。而太晚開始的話,就算能和其他人保持一樣的增長速度也無濟于事。
雖然卓越的執(zhí)行會獲得指數(shù)級增長的回報,現(xiàn)實中將會有一系列不連續(xù)的事件,讓增長曲線無法保持平滑。一家企業(yè)如何處理這些不連續(xù)的事件將會決定成王敗寇。
這些不連續(xù)的事件就是機器學習的另一面——那些會導致這種技術(shù)充滿競爭力的優(yōu)勢滑鐵盧的元素。
這里列舉了一些:
技術(shù)債機器學習系統(tǒng)并不是能自我復制(self-replicating)或者自我優(yōu)化(self-opTImizing)的軟件應(yīng)用。因此,隨著時間流逝,它們會積累越來越多的技術(shù)債。技術(shù)債有許多種表現(xiàn)形式,包括糾纏(entanglement)、隱藏反饋循環(huán)(hidden feedback loops)、依賴于未充分使用的數(shù)據(jù)(underuTIlized data dependencies)、管道叢林(pipeline jungles)、未申明的訪問者(undeclared customers)等等。技術(shù)債會在無意中導致不希望的結(jié)果,帶來脆弱(brittleness)以及混淆(obfuscaTIon)。所有這一切都會對系統(tǒng)產(chǎn)生影響,讓系統(tǒng)無法達到最優(yōu)狀態(tài)。
理解技術(shù)債的細節(jié)是技術(shù)團隊的責任。
理解技術(shù)債的概念和影響是管理團隊的責任。
關(guān)于機器學習技術(shù)債的細節(jié),請在新智元微信公眾號后臺回復xxxx,閱讀新智元翻譯的、來自谷歌的技術(shù)債詳細介紹:【Google 年度頂級論文】機器學習系統(tǒng),隱藏多少技術(shù)債?(論文下載)。
黑盒某些算法是黑盒——這是指難以理解在算法中發(fā)生了什么,特別是對于單獨的數(shù)據(jù)點來說。這并不總是會成為一個問題,但是,它對于一個組織而言很多時候都代表了真實存在的挑戰(zhàn),無論是從文化上還是從技術(shù)上來說都是這樣。如果選用的算法是一個黑盒,而世界的變化超出了模型的預測能力,那么缺乏足夠的理解會讓整個系統(tǒng)陷入懷疑論的危機。無法解釋模型為何失敗,從接收機器學習算法程度的角度來說,可以讓一個組織在這一方面倒退許多年。
算法選擇雖然這有一些老生常談,不過在機器學習領(lǐng)域的確沒有“上帝”一樣萬能的算法。沒有算法能在文本分析、模式匹配、分詞、異常偵測、以及特征生成上都做得一樣好。
的確,有幾十種強力的算法和數(shù)千種這些算法的高度調(diào)整(highly tuned)版本,每一種都有它自己獨有的優(yōu)點和缺點。最終,不同的算法會服務(wù)于不同的目的。比如,你的邏輯回歸模型(LRM)看待數(shù)據(jù)世界的方式與你的支持向量機(SVM)有很大的差異。這意味著,作為一個數(shù)據(jù)科學家或者是一個計算機科學家,你有時會放下LRM、轉(zhuǎn)而用起SVM——它們是為不同的工作而服務(wù)的。但是它們之前的區(qū)別并不只是類似于不同尺寸的扳手,并且放下LRM、轉(zhuǎn)向SVM在上手時是非常消耗時間的。
選用正確的算法對于保持一個組織的良好運作來說是非常重要的,就和了解使用什么時候應(yīng)該使用凈現(xiàn)值(NPV)、什么時候應(yīng)該使用內(nèi)部收益率(IRR)一樣。
人類的偏差與算法選擇相關(guān)的一個概念是人類偏差(human bias)。無論如何,機器學習算法都是復雜的數(shù)學公式,而精通某種特定的算法會讓從業(yè)者對這種算法產(chǎn)生依賴——通常是嚴重的依賴。這種趨勢讓人想起一句古老的諺語,“當你除了錘子一無所有時,所有東西看上去都像釘子”。如果你的機器學習團隊中,所有人都畢業(yè)于同一個學校的同一期,有可能他們用的都是同樣的一些算法。向你的組織中注入算法多樣性會為組織帶來明顯的益處。
避免陷阱因為技術(shù)債的存在,領(lǐng)導層需要確保厲害的軟件工程師與厲害的數(shù)學家同在。缺少其中一方將會失去平衡,在未來導致很多問題。招募雙方。
對于黑盒問題,你需要仰賴數(shù)百年來的統(tǒng)計學知識來解釋模型中每一個決策背后的原因。這種要求非常嚴苛,但當你需要知道為什么算法最后做出了一個決策時,經(jīng)歷這樣的時間是非常重要的。這對于創(chuàng)造一種機器學習文化而言至關(guān)重要。人們需要信任這個系統(tǒng),而統(tǒng)計學可以提供溝通人類與算法的橋梁。
面對算法選擇的挑戰(zhàn),答案是部署越來越多種類的算法,于是你不必再從中選擇。計算機的性能已經(jīng)足夠做到這一點,已經(jīng)有可以對于數(shù)據(jù)集用多種算法并行處理的框架。好好利用。
最后,如果你部署了多種機器學習算法,人類偏差問題應(yīng)當迎刃而解——特別是如果你采用了讓過程自動化的技術(shù),用數(shù)據(jù)來自動找出最適應(yīng)的算法。
前方的機遇機器學習將無愧于它得到的炒作。明白情況的人都會對它的變革性——對于任何職業(yè)、工作流程和商務(wù)處理來說都是這樣——保持高度的信心。
率先邁向機器學習的組織將會獲得相應(yīng)的回報。但是理解機器學習的潛力和風險是非常重要的,因為對于機器學習領(lǐng)域的熟悉程度仍然不足。現(xiàn)在正是時候針對這一技術(shù)深挖、學習、雇傭、以及投資,等到明天的話,也許你的競爭對手就已經(jīng)開始來勢洶洶地擴張了。