可解釋性是指人類能夠理解決策原因的程度。機器學習模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預測。模型可解釋性指對模型內(nèi)部機制的理解以及對模型結(jié)果的理解。其重要性體現(xiàn)在：建模階段，輔助開發(fā)人員理解模型，進行模型的對比選擇，必要時優(yōu)化調(diào)整模型;在投入運行階段，向業(yè)務方解釋模型的內(nèi)部機制，對模型結(jié)果進行解釋。比如基金推薦模型，需要解釋：為何為這個用戶推薦某支基金。

機器學習流程步驟：收集數(shù)據(jù)、清洗數(shù)據(jù)、訓練模型、基于驗證或測試錯誤或其他評價指標選擇最好的模型。第一步，選擇比較小的錯誤率和比較高的準確率的高精度的模型。第二步，面臨準確率和模型復雜度之間的權(quán)衡，但一個模型越復雜就越難以解釋。一個簡單的線性回歸非常好解釋，因為它只考慮了自變量與因變量之間的線性相關(guān)關(guān)系，但是也正因為如此，它無法處理更復雜的關(guān)系，模型在測試集上的預測精度也更有可能比較低。而深度神經(jīng)網(wǎng)絡處于另一個極端，因為它們能夠在多個層次進行抽象推斷，所以他們可以處理因變量與自變量之間非常復雜的關(guān)系，并且達到非常高的精度。但是這種復雜性也使模型成為黑箱，我們無法獲知所有產(chǎn)生模型預測結(jié)果的這些特征之間的關(guān)系，所以我們只能用準確率、錯誤率這樣的評價標準來代替，來評估模型的可信性。事實上，每個分類問題的機器學習流程中都應該包括模型理解和模型解釋，原因如下：

模型改進：

理解指標特征、分類、預測，進而理解為什么一個機器學習模型會做出這樣的決定、什么特征在決定中起最重要作用，能讓我們判斷模型是否符合常理。一個深度的神經(jīng)網(wǎng)絡來學習區(qū)分狼和哈士奇的圖像。模型使用大量圖像訓練，并使用另外的一些圖像進行測試。90%的圖像被準確預測，這值得我們高興。但是在沒有計算解釋函數(shù)(explainer function)時，我們不知道該模型主要基于背景：狼圖像通常有一個下雪的背景，而哈士奇的圖像很少有。所以我們不知不覺地做了一個雪地探測器，如果只看準

確率這樣的指標，我們就不會看到這一點。知道了模型是如何使用特征進行預測的，我們就能直覺地判斷我們的模型是否抓住了有意義的特征，模型是或否能泛化到其他樣本的預測上。

模型可信性與透明度：

理解機器學習模型在提高模型可信度和提供審視預測結(jié)果透明度上是非常必要的，讓黑箱模型來決定人們的生活是不現(xiàn)實的，比如貸款和監(jiān)獄刑法。另一個對機器學習結(jié)果可信度提出質(zhì)疑的領域是藥品，模型結(jié)果會直接決定病人的生與死。機器學習模型在區(qū)分惡性腫瘤和不同類型的良性腫瘤方面是非常準確的，但是我們依然需要專家對診斷結(jié)果進行解釋，解釋為什么一個機器學習模型將某個患者的腫瘤歸類為良性或惡性將大大幫助醫(yī)生信任和使用機器學習模型來支持他們工作。長久來看，更好地理解機器學習模型可以節(jié)省大量時間、防止收入損失。如果一個模型沒有做出合理的決定，在應用這個模型并造成不良影響之前，我們就可以發(fā)現(xiàn)這一點。

識別和防止偏差：

方差和偏差是機器學習中廣泛討論的話題。有偏差的模型經(jīng)常由有偏見的事實導致，如果數(shù)據(jù)包含微妙的偏差，模型就會學習下來并認為擬合很好。一個有名的例子是，用機器學習模型來為囚犯建議定罪量刑，這顯然反映了司法體系在種族不平等上的內(nèi)在偏差。其他例子比如用于招聘的機器學習模型，揭示了在特定職位上的性別偏差，比如男性軟件工程師和女性護士。機器學習模型在我們生活的各個層面上都是強有力的工具，而且它也會變得越來越流行。所以作為數(shù)據(jù)科學家和決策制定者來說，理解訓練和發(fā)布的模型如何做出決策，從而可以事先預防偏差的增大以及消除它們。