醫(yī)療行業(yè)中的深度學習技術(shù)，主要從計算機視覺、自然語言處理、強化學習和通用方法這些方面入手。

本文從這些計算技術(shù)對關(guān)鍵醫(yī)療領(lǐng)域的影響，并探索了如何構(gòu)建端到端系統(tǒng)。計算機視覺方面主要關(guān)注醫(yī)療成像，自然語言處理方面主要涉及電子健康檔案數(shù)據(jù)，強化學習方面主要討論機器人輔助手術(shù)，通用深度學習方法主要涉及基因組學。

深度學習是機器學習的子領(lǐng)域，由于算力和數(shù)據(jù)的增長，深度學習在過去 6 年中得到了巨大發(fā)展。該領(lǐng)域見證了機器理解和控制數(shù)據(jù)能力的顯著進展，包括圖像、語言和語音。醫(yī)療行業(yè)從深度學習中受益良多，因為該行業(yè)生成海量數(shù)據(jù)（光美國就有 150 艾字節(jié)（10^18 字節(jié)）的數(shù)據(jù)，每年增長 48%） ，醫(yī)療設(shè)備和數(shù)據(jù)記錄系統(tǒng)也在不斷增多。

機器學習與其它計算機編程類型不同，它使用從大量樣本中自動提取的統(tǒng)計、數(shù)據(jù)驅(qū)動規(guī)則將算法的輸入轉(zhuǎn)換成輸出（無需人類過多參與規(guī)則制定）。之前，構(gòu)建機器學習系統(tǒng)需要利用領(lǐng)域?qū)I(yè)知識和人類工程來設(shè)計特征提取器，將原始數(shù)據(jù)轉(zhuǎn)換成學習算法能夠從中檢測出模式的合適表征。而深度學習作為表征學習的一種形式，輸入原始數(shù)據(jù)后可以自行習得模式識別所需表征，它們由多層表征組成。這些層通常按順序排列，并包含大量粗糙的非線性運算，從而使一個層的表征 （最開始是原始數(shù)據(jù)輸入）輸入到下一個層，最終轉(zhuǎn)換成較抽象的表征。隨著數(shù)據(jù)在系統(tǒng)各層中傳播，輸入空間不斷變形，直到數(shù)據(jù)點可識別為止（見圖 1a）。用這種方式可以學得高度復雜的函數(shù)。

圖 1：深度學習。a. 一個簡單的多層深度神經(jīng)網(wǎng)絡(luò)，輸入為兩個類別的數(shù)據(jù)（分別用不同顏色來標注），數(shù)據(jù)在各層中傳播時網(wǎng)絡(luò)不斷使其變形，從而使數(shù)據(jù)線性可分。最終輸出層作為分類器，輸出的是某個類別的概率。該示例介紹了大型網(wǎng)絡(luò)使用的基本概念。b. 接受多種數(shù)據(jù)類型輸入的大型網(wǎng)絡(luò)示例，數(shù)據(jù)類型包括圖像、時序數(shù)據(jù)等，網(wǎng)絡(luò)處理每種數(shù)據(jù)類型時在其低級塔（tower）中學習有用的特征。然后融合每個塔中的數(shù)據(jù)，輸入高層，使深度神經(jīng)網(wǎng)絡(luò)對不同數(shù)據(jù)類型執(zhí)行推斷，這種能力在醫(yī)療行業(yè)中的重要性與日俱增。

深度學習模型可擴展至大型數(shù)據(jù)集（部分原因在于它們可在專用計算硬件上運行），并繼續(xù)改進，提高在更多數(shù)據(jù)上的能力，這也使得深度學習模型優(yōu)于很多經(jīng)典機器學習方法。深度學習系統(tǒng)可以接受多種數(shù)據(jù)類型的輸入，異質(zhì)醫(yī)療數(shù)據(jù)就具備這種屬性 （圖 1b）。使用監(jiān)督學習方法訓練的模型最為常見，其數(shù)據(jù)集由輸入數(shù)據(jù)點（如皮膚病變圖像）和對應(yīng)的輸出數(shù)據(jù)標簽（如良性或惡性） 組成。強化學習中的計算智能體通過試錯或?qū)＜已菔緛韺W習，在采用深度學習技術(shù)后，強化學習也取得了長足進步，在游戲等領(lǐng)域取得了突出成績（如圍棋）。在醫(yī)療領(lǐng)域，當學習需要醫(yī)生演示時，強化學習非常有用，例如機器人輔助手術(shù)中智能體學習給傷口縫合。

計算機視覺

深度學習的一些偉大成就出現(xiàn)在計算機視覺領(lǐng)域（CV）。CV 主要研究圖像和視頻理解，處理目標分類、檢測和分割等任務(wù)，這些在判斷病人射線照片中是否包含惡性腫瘤時非常有用。卷積神經(jīng)網(wǎng)絡(luò)（CNN） 用來處理具備空間不變性的數(shù)據(jù)（如圖像，它們的意義不會發(fā)生改變），也因此成為該領(lǐng)域的重要技術(shù)。

拿醫(yī)療成像來說，它從圖像分類和目標檢測的近期進展中受益良多。很多研究在皮膚科、放射科、眼科、病理科的復雜診斷中取得了不錯的結(jié)果（見圖 2）。深度學習系統(tǒng)可以為醫(yī)生提供輔助意見，標注出圖像中有問題的區(qū)域。

圖 2：醫(yī)療成像。CNN 可以在多種醫(yī)療影像上訓練，包括放射科、病理科、皮膚科和眼科。信息從左到右傳播。輸入圖像饋入 CNN 后，網(wǎng)絡(luò)會使用卷積、池化、全連接層等簡單操作按順序?qū)?shù)據(jù)轉(zhuǎn)換成扁平向量。輸出向量的元素表示疾病出現(xiàn)的概率。在訓練過程中，網(wǎng)絡(luò)層的內(nèi)部參數(shù)會迭代調(diào)整，以提高準確率。通常，較低的層（左）學習簡單的圖像特征——邊和基本的形狀，這對右側(cè)的高級表征有所影響。預測任務(wù)包括圖像分類（即惡性 vs 良性）和醫(yī)療特征定位（如腫瘤）。

使用 CNN 方法進行圖像級別的診斷已經(jīng)很成功了。這很大程度上歸功于 CNN 在目標分類任務(wù)上可與人類媲美的性能。這些網(wǎng)絡(luò)在遷移學習中展現(xiàn)了強大的性能，CNN 最初在與目標任務(wù)無關(guān)的大型數(shù)據(jù)集（如 ImageNet） 上進行訓練，然后在目標任務(wù)相關(guān)的較小數(shù)據(jù)集（如醫(yī)療影像）上進行微調(diào)。第一步，算法利用大量數(shù)據(jù)學習圖像中的自然統(tǒng)計數(shù)據(jù)，如直線、曲線、顏色等。第二步，重新訓練算法的高級層來對診斷病例進行辨別。類似地，目標檢測和分割算法可識別圖像中與特定目標對應(yīng)的部分。CNN 方法使用圖像數(shù)據(jù)作為輸入，然后輸入經(jīng)過多次卷積和非線性操作進行迭代變化，直到原始數(shù)據(jù)矩陣被轉(zhuǎn)換成潛在圖像類別的概率分布 （如醫(yī)療診斷案例）。

深度學習方法在大量診斷任務(wù)上取得了醫(yī)生級別的準確率，包括識別黑痣和黑色素瘤，從眼底圖像和光學相干斷層掃描 （OCT） 圖像中檢測糖尿病性視網(wǎng)膜病變、判斷心血管風險，提供轉(zhuǎn)診建議，以及從乳房 X 光片中檢測乳腺病變、使用核磁共振成像進行脊柱分析。甚至有研究證明單個深度學習模型在多個醫(yī)療模態(tài)中都很有效 （如放射科和眼科）。但是，這些研究的一個關(guān)鍵限制是人類醫(yī)生與算法性能之間的對比缺乏臨床背景，它們把執(zhí)行診斷的情形限制在僅使用圖像的條件下。而這通常會增加人類醫(yī)生進行診斷的難度，現(xiàn)實醫(yī)療環(huán)境中醫(yī)生可以看到醫(yī)療影像和一些補充數(shù)據(jù)，包括病人的病史、健康記錄、其他檢測和口述等。

一些診所開始使用圖像目標檢測和分割技術(shù)處理緊急、不易被發(fā)現(xiàn)的病例，如使用放射圖像標注大腦中的大動脈閉塞，病人在永久性大腦損傷發(fā)生之前所剩的時間極其有限（幾分鐘）。此外還有癌癥病理切片讀取，該任務(wù)需要人類專家費力地掃描和診斷超高畫素圖像 （或同樣大小的實體圖像），現(xiàn)在該任務(wù)可以使用能夠檢測有絲分裂細胞或腫瘤區(qū)域的 CNN 來輔助進行。訓練之后的 CNN 用于量化組織病理圖像中的 PD-L1 數(shù)量，這項任務(wù)對確定病人要接受哪種免疫腫瘤藥物非常重要。結(jié)合像素級的分析，CNN 甚至被用于發(fā)現(xiàn)生存概率相關(guān)組織的生物學特征。

為新的醫(yī)療成像任務(wù)構(gòu)建監(jiān)督式深度學習系統(tǒng)的主要局限在于是否有足夠大的標注數(shù)據(jù)集。用于特定任務(wù)的小型標注數(shù)據(jù)集比較容易收集，但算法在新數(shù)據(jù)上的性能會比較差。在這些情況下，數(shù)據(jù)增強技術(shù)對提高算法的泛化能力有所幫助。類似地，大型無標注數(shù)據(jù)集也很容易收集，但它需要改進的半監(jiān)督和無監(jiān)督技術(shù)，如生成對抗網(wǎng)絡(luò)。

自然語言處理

自然語言處理（NLP）主要通過分析文本和語音來推斷詞的語義。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 能高效處理該領(lǐng)域的序列數(shù)據(jù)，如語言、語音和時序數(shù)據(jù)等，它在 NLP 中起到了非常重要的作用。NLP 中的機器翻譯、文本生成和圖像描述取得了顯著成功。在醫(yī)療領(lǐng)域中，序列深度學習和語言技術(shù)為電子健康檔案（EHR）等應(yīng)用提供了很多支持。

EHR 目前正在迅速普及，大型醫(yī)療機構(gòu)的 EHR 能記錄超過一千萬患者過去 10 年內(nèi)的醫(yī)療活動。此外，單獨一次住院大約能產(chǎn)生 15 萬條數(shù)據(jù)，因此從這些數(shù)據(jù)能獲取的有效信息與優(yōu)勢是十分明顯的?？偟膩碚f，這種規(guī)模的 EHR 大概表示了 20 萬年的醫(yī)生智慧累積和 1 億年的患者醫(yī)療結(jié)果數(shù)據(jù)，其中還包含足夠多的罕見病癥。因此將深度學習應(yīng)用到 EHR 數(shù)據(jù)是一個迅速發(fā)展的領(lǐng)域。

下圖 3 展示了為 EHR 構(gòu)建深度學習系統(tǒng)的主要技術(shù)流程。其中系統(tǒng)首先會匯集多個機構(gòu)的數(shù)據(jù)來構(gòu)建原始數(shù)據(jù)，這能確保構(gòu)建一個可泛化的系統(tǒng)。然后將各種非結(jié)構(gòu)化的 EHR 數(shù)據(jù)標準化并解析為患者的時序數(shù)據(jù)，這可以令數(shù)據(jù)更適合使用深度學習進行訓練。

因此，最后我們就能推斷出高級醫(yī)療問題的答案，例如“患者病史中的哪些信息與當前疾病相關(guān)？”、“患者目前的疾病或問題列表是什么？”、“有哪些介入治療的可能性？”。

圖 3：使用 EHR 進行預測。其中 a 所示的非結(jié)構(gòu)化 EHR 數(shù)據(jù)是使用不同數(shù)據(jù)格式存儲的，因此基于一所醫(yī)院的病例構(gòu)建的模型無法用于其他醫(yī)院的數(shù)據(jù)。那么通過步驟 b 可以將不同格式的數(shù)據(jù)映射為基于 FHIR 的相同格式，它們都標準化為同質(zhì)數(shù)據(jù)。接下來，c 根據(jù)用戶的時間線序列化數(shù)據(jù)，因此基于時序的深度學習技術(shù)能直接應(yīng)用到整個 EHR 數(shù)據(jù)集上，并為單個病人做出預測。

在進行預測時，目前大多數(shù)研究工作都在有限的結(jié)構(gòu)化數(shù)據(jù)上使用監(jiān)督學習，這些數(shù)據(jù)包括實驗室結(jié)果、生命體征、診斷碼和人口統(tǒng)計數(shù)據(jù)等。為了解釋 EHR 中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，研究者開始使用無監(jiān)督學習方法，例如自編碼器等。最近深度學習通過卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)建模結(jié)構(gòu)化事件的時序序列（這些事件出現(xiàn)在患者的檔案中） ，預測未來的醫(yī)療事件。這些工作大多數(shù)都聚焦在重癥監(jiān)護醫(yī)學信息數(shù)據(jù)庫（MIMIC），它包含來自單個醫(yī)療中心的大量重癥監(jiān)護（ICU）患者數(shù)據(jù)。雖然 ICU 患者比非 ICU 患者能產(chǎn)生更多的 EHR 數(shù)據(jù)，但非 ICU 患者的數(shù)量要遠遠超過 ICU 患者。因此目前仍然不確定從這些數(shù)據(jù)獲得的模型如何泛化到更廣泛的人群中。

下一代語音識別和信息抽取模型可能會開發(fā)臨床語音助手，從而準確地轉(zhuǎn)錄患者就診信息。醫(yī)生在工作日的 11 小時中，需要花 6 小時處理 EHR 文檔，而這會減少用于患者的時間。因此自動化轉(zhuǎn)錄將緩解這種問題，并促進更多更有價值的服務(wù)?；?RNN 的語言翻譯模型能夠使用端到端的技術(shù)直接將語音轉(zhuǎn)換為另一種語言的文本。這種技術(shù)能直接將患者和醫(yī)生的對話轉(zhuǎn)化為轉(zhuǎn)錄文本記錄。不過關(guān)鍵難點在于，在準確總結(jié)對話的同時，模型還需要從對話中對每個醫(yī)療實體的屬性和狀態(tài)進行分類。雖然早期的人機交互實驗非常有前景，但這些技術(shù)還沒有廣泛部署到醫(yī)療實踐中。

未來的研究工作可能會集中在開發(fā)新算法，以更好地利用 EHR 中信息豐富的非結(jié)構(gòu)化數(shù)據(jù)。例如在開發(fā)預測系統(tǒng)時，臨床記錄通常被省略或采用節(jié)選編輯，這種非結(jié)構(gòu)化數(shù)據(jù)就含有非常多的診斷信息。一般我們通過半監(jiān)督學習結(jié)合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，其中大規(guī)模 RNN 展現(xiàn)出非常優(yōu)秀的性能與結(jié)構(gòu)。這種數(shù)據(jù)組合允許模型從更廣泛的數(shù)據(jù)類型中學習更多的知識，并在多項任務(wù)中超過其它技術(shù)，這些任務(wù)包括死亡率、再入院率、住院時間和診斷預測等。

強化學習

強化學習是指訓練計算智能體成功與環(huán)境互動的技術(shù)，通常是為了實現(xiàn)特定目標。強化學習可通過試錯、演示或混合方法來實現(xiàn)。一旦智能體開始在其環(huán)境中采取行動，獎勵和后果的迭代反饋循環(huán)會訓練智能體更好地完成目標。從專家演示中學習有兩種方式：通過監(jiān)督學習（即模仿學習） 直接預測專家的行為；推斷專家的目標（即逆向 RL）。要想成功訓練智能體，模型函數(shù)至關(guān)重要，它把環(huán)境中的感官信號作為輸入，輸出智能體要采取的下一步行動。在深度強化學習中，深度學習模型作為模型函數(shù)，頗具前景。

可以從深度強化學習中受益的一大醫(yī)療領(lǐng)域是機器人輔助手術(shù)（RAS）。目前，機器人輔助手術(shù)的主要方式是醫(yī)生以遙控方式指導機器人操縱器械。通過使用計算機視覺模型（如 CNN） 來觀察手術(shù)環(huán)境、使用強化學習方法學習外科醫(yī)生的動作，深度學習有效提高了機器人輔助手術(shù)的穩(wěn)健性和適應(yīng)性。

這些技術(shù)支持高度重復與時間敏感的手術(shù)任務(wù)，如縫合和打結(jié)。例如，計算機視覺技術(shù)（如用于目標檢測/分割和立體視覺的 CNN）可以根據(jù)圖像數(shù)據(jù)重建開放性傷口的樣子，然后通過解決路徑優(yōu)化問題生成縫合或打結(jié)軌跡，該路徑優(yōu)化問題試圖在考慮外部約束 （如關(guān)節(jié)限制和障礙）的同時找到最優(yōu)軌跡。與此類似，用圖像訓練的 RNN 通過學習外科醫(yī)生的動作序列能夠?qū)W會自動打結(jié)。

這些技術(shù)對完全自動化的機器人手術(shù)或微創(chuàng)手術(shù)尤其有利。在現(xiàn)代腹腔鏡手術(shù)中，需要有幾個切口把器械插入體內(nèi)，這些器械包括相機機和手術(shù)工具，然后外科醫(yī)生遙控操作這些器械。深度模仿學習、RNN、軌跡遷移算法可以完全自動化手術(shù)過程中的某些遙控操作任務(wù)。在腹腔鏡手術(shù)中，重復任務(wù)的自動化比開放手術(shù)對時間的要求更嚴格。例如，在腹腔鏡手術(shù)中打結(jié)可能需要三分鐘，而不像開放手術(shù)中只需幾秒。

半自動遙操作的主要挑戰(zhàn)之一是在手術(shù)場景附近正確定位儀器的位置和方向。最近，采用改進 U-Net 架構(gòu) CNN 開發(fā)的像素級儀器分割技術(shù)開始嶄露頭角。深度學習應(yīng)用于手術(shù)機器人的另一大挑戰(zhàn)是數(shù)據(jù)收集。深度模仿學習需要大量的訓練數(shù)據(jù)集，包含每個手術(shù)動作的多個示例。由于許多手術(shù)是精細、獨特的，收集足夠的數(shù)據(jù)用于其他一般性手術(shù)仍然非常困難。而且，自動化系統(tǒng)仍然難以完全適應(yīng)未知和未觀察到的情況，如異常的手術(shù)事故。

深度學習的推廣

除了 CV、NLP、RL 任務(wù)之外，深度學習也適用于數(shù)據(jù)差別微妙且需要特別對待的領(lǐng)域。此處以基因組學為例，在這一領(lǐng)域中，用于處理獨特數(shù)據(jù)表征的深度學習技術(shù)已遠不止（基于 CNN、RNN 等的）傳統(tǒng)深度學習方法。

現(xiàn)代基因組技術(shù)包含許多種度量，從個人 DNA 序列到血液中多種蛋白質(zhì)的數(shù)量。用于分析這些度量的方法可以通過深度學習得到極大改進，而這些改進將幫助臨床醫(yī)生提高治療和診斷的準確率。在基因組學領(lǐng)域，創(chuàng)建一個深度學習系統(tǒng)的典型工作流程包括：

獲取原始數(shù)據(jù)（如基因表現(xiàn)型數(shù)據(jù)）

將原始數(shù)據(jù)轉(zhuǎn)化為輸入數(shù)據(jù)張量

將這些張量數(shù)據(jù)傳入神經(jīng)網(wǎng)絡(luò)并用于特定的生物醫(yī)學應(yīng)用（如圖 4）。

圖 4：基因組學中的機器學習。a：輸入數(shù)據(jù)?；蚪M數(shù)據(jù)由實驗測量數(shù)據(jù)組成，從中可以預測某些特性或有趣的結(jié)果。這些數(shù)據(jù)通常豐富多樣，可能包含排序、基因表現(xiàn)型、功能性數(shù)據(jù)以及其他形式的分子數(shù)據(jù)。b：示例數(shù)據(jù)張量。原始的實驗度量需要轉(zhuǎn)化為適合深度學習算法使用的形式，一般深度學習算法將多維數(shù)據(jù)張量和相關(guān)目標標簽作為輸入。c：DNN。使用帶有標注的張量來訓練 DNN，以從輸入數(shù)據(jù)張量中預測標簽。d：生物醫(yī)學應(yīng)用。經(jīng)過訓練的 DNN 可以應(yīng)用于生物醫(yī)學，如預測以前未見過數(shù)據(jù)的標簽或檢查輸入數(shù)據(jù)和輸出標簽之間的關(guān)系。示例應(yīng)用包含解釋實驗數(shù)據(jù)（如從序列工具的輸出中推斷 DNA 序列或推斷 DNA 突變對基因剪切的影響）、分子診斷學（如預測基因突變對疾病風險或藥物反應(yīng)的影響）等。

全基因組關(guān)聯(lián)（GWA）分析隱藏著巨大的機遇，這是一種大型病例對照研究，旨在發(fā)現(xiàn)影響特定性狀的基因突變。GWA 分析要求算法可以擴展到非常大的患者群體，還要能處理潛在的混雜因素。這些挑戰(zhàn)可以通過優(yōu)化工具和深度學習相關(guān)技術(shù)解決，包括隨機優(yōu)化和其他結(jié)合了平行計算的現(xiàn)代方法，以及解決不可見混雜因素的建模技術(shù)。在不久的將來，將外部模式和額外的生物數(shù)據(jù)來源整合到 GWA 研究中的模型，也可能受益于深入學習，它們能夠更準確地識別疾病相關(guān)的因果突變。

了解疾病遺傳學可以幫助臨床醫(yī)生推薦治療方法并提供更準確的診斷。確定患者基因組中的新變異是否具有醫(yī)學相關(guān)性是內(nèi)科醫(yī)生面臨的一大挑戰(zhàn)。在某種程度上，這種決策依賴于預測突變的致病性，目前已有任務(wù)使用蛋白質(zhì)結(jié)構(gòu)和進化保守性等特征來訓練學習算法。由于能夠有效地整合不同的數(shù)據(jù)類型，深度學習技術(shù)可能提供比現(xiàn)在更準確的致病性預測。

機器學習對于從基因數(shù)據(jù)中進行表現(xiàn)型預測也發(fā)揮著重要作用，包括身高、疾病風險等復雜的性狀。深度學習可以通過整合醫(yī)療圖像、病例、可穿戴設(shè)備數(shù)據(jù)等其他形式的數(shù)據(jù)進一步增強此類模型。一種非常有前景的表現(xiàn)型預測方法是預測中間分子的表現(xiàn)型，如基因表達或基因剪切等，這些信息接下來會用于下游疾病的預測。中間分子狀態(tài)預測要比人類性狀預測容易一些，因為其信號更多，訓練數(shù)據(jù)更加廣泛。這兩個特征使得這一問題非常適合用深度學習解決，后者已經(jīng)被證實非常善于預測剪接和轉(zhuǎn)錄因子結(jié)合。

基因組數(shù)據(jù)也可以直接作為疾病產(chǎn)生和衍化的生物標志物（biomarker）。例如，血液中含有少量脫離細胞的 DNA，這些 DNA 是從身體其他部位的細胞中釋放出來的。這些 DNA 片段是器官排斥反應(yīng) （即免疫系統(tǒng)攻擊移植細胞）、細菌感染及早期癌癥的非侵入性指標。脫細胞 DNA 被成功地應(yīng)用于產(chǎn)前診斷：胎兒 DNA 存在于母親的血液表明染色體畸變，可以揭示胎兒的整個基因組。生物標記數(shù)據(jù)通常非常嘈雜，需要進行復雜的分析（如確定脫細胞 DNA 是否預示癌癥）；深度學習系統(tǒng)可以提高針對 DNA 序列、甲基化、基因表達及其他度量的生物標記分析的質(zhì)量。