在工業(yè)界中，數(shù)據(jù)科學或機器學習的主要焦點是更偏“應用”地解決復雜的現(xiàn)實世界至關重要的問題，而不是理論上有效地應用這些模型于正確的數(shù)據(jù)。機器學習模型本身由算法組成，該算法試圖從數(shù)據(jù)中學習潛在模式和關系，而無需硬編碼固定規(guī)則。因此，解釋模型如何對業(yè)務起作用總是會帶來一系列挑戰(zhàn)。有一些領域的行業(yè)，特別是在保險或銀行等金融領域，數(shù)據(jù)科學家通常最終不得不使用更傳統(tǒng)的機器學習模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個決策非常重要。

殘酷的現(xiàn)實是，如果沒有對機器學習模型或數(shù)據(jù)科學pipeline如何運作的合理理解，現(xiàn)實中的項目很少成功。現(xiàn)實中的數(shù)據(jù)科學項目，通常會有業(yè)務和技術兩方面。數(shù)據(jù)科學家通常致力于構建模型并為業(yè)務提供解決方案。但是，企業(yè)可能不知道模型如何工作的復雜細節(jié)。

數(shù)據(jù)科學從業(yè)者將知道存在典型的模型可解釋性與模型性能權衡。這里需要記住的一點是，模型性能不是運行或執(zhí)行性能，而是模型在決策中的準確程度。有幾種模型，包括簡單的線性模型甚至是基于樹的模型，它們可以很容易地解釋模型為獲得特定的洞察力或預測而做出的決策，但是你可能需要犧牲模型性能，因為它們總是不能產生最好的結果是由于高偏

差(線性模型)或高方差的固有問題，導致過度擬合(完全成長的樹模型)。更復雜的模型，如集合模型和深度學習模型系列通常會產生更好的性能，但被認為是黑盒模型，因為很難解釋模型如何真正做出決定。

理解模型可解釋性

模型解釋作為一個概念仍然主要是理論和主觀的。任何機器學習模型的核心都有一個響應函數(shù)，它試圖映射和解釋獨立(輸入)自變量和(目標或響應)因變量之間的關系和模式。當模型預測或尋找見解時，需要做出某些決定和選擇。模型解釋試圖理解和解釋響應函數(shù)所做出的這些決定，即what，why以及how。模型解釋的關鍵是透明度，質疑能力以及人類理解模型決策的難易程度。模型解釋的三個最重要的方面解釋如下。

是什么驅動了模型的預測?我們應該能夠查詢我們的模型并找出潛在的特征交互，以了解哪些特征在模型的決策策略中可能是重要的。這確保了模型的公平性。

為什么模型會做出某個決定?我們還應該能夠驗證并證明為什么某些關鍵特征在預測期間驅動模型所做出的某些決策時負有責任。這確保了模型的可靠性。我們如何信任模型預測?我們應該能夠評估和驗證任何數(shù)據(jù)點以及模型如何對其進行決策。對于模型按預期工作的關鍵利益相關者而言，這應該是可證明且易于理解的。這確保了模型的透明度。

在比較模型時，除了模型性能之外，如果模型的決策比其他模型的決策更容易理解，那么模型被認為比其他模型具有更好的可解釋性。

可解釋性的重要性

在解決機器學習問題時，數(shù)據(jù)科學家往往傾向于關注模型性能指標，如準確性，精確度和召回等等。這在大多數(shù)圍繞數(shù)據(jù)科學和機器學習的在線競賽中也很普遍。但是，指標只能說明模型預測決策的部分故事。隨著時間的推移，由于環(huán)境中的各種因素導致的模型概念漂移，性能可能會發(fā)生變化。因此，了解推動模型采取某些決策的因素至關重要。

如果一個模型工作得很好，為什么還要深入挖掘呢?在解決現(xiàn)實世界中的數(shù)據(jù)科學問題時，為了讓企業(yè)信任您的模型預測和決策，他們會不斷提出“我為什么要相信您的模型?”這一問題，這一點非常有意義。如果一個人患有癌癥或糖尿病，一個人可能對社會構成風險，或者即使客戶會流失，您是否會對預測和做出決策(如果有的話)感到滿意?也許不是，如果我們能夠更多地了解模型的決策過程(原因和方式)，我們可能會更喜歡它。這使我們更加透明地了解模型為何做出某些決策，在某些情況下可能出現(xiàn)的問題，并且隨著時間的推移它有助于我們在這些機器學習模型上建立一定程度的信任。

了解預測背后的原因在評估信任方面非常重要，如果計劃基于預測采取行動，或者選擇是否部署新模型，那么這是至關重要的。無論人類是直接使用機器學習分類器作為工具，還是在其他產品中部署模型，仍然存在一個至關重要的問題：如果用戶不信任模型或預測，他們就不會使用它。