可解釋性是指人類能夠理解決策原因的程度。機(jī)器學(xué)習(xí)模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測(cè)。模型可解釋性指對(duì)模型內(nèi)部機(jī)制的理解以及對(duì)模型結(jié)果的理解。其重要性體現(xiàn)在：建模階段，輔助開發(fā)人員理解模型，進(jìn)行模型的對(duì)比選擇，必要時(shí)優(yōu)化調(diào)整模型;在投入運(yùn)行階段，向業(yè)務(wù)方解釋模型的內(nèi)部機(jī)制，對(duì)模型結(jié)果進(jìn)行解釋。比如基金推薦模型，需要解釋：為何為這個(gè)用戶推薦某支基金。

機(jī)器學(xué)習(xí)流程步驟：收集數(shù)據(jù)、清洗數(shù)據(jù)、訓(xùn)練模型、基于驗(yàn)證或測(cè)試錯(cuò)誤或其他評(píng)價(jià)指標(biāo)選擇最好的模型。第一步，選擇比較小的錯(cuò)誤率和比較高的準(zhǔn)確率的高精度的模型。第二步，面臨準(zhǔn)確率和模型復(fù)雜度之間的權(quán)衡，但一個(gè)模型越復(fù)雜就越難以解釋。一個(gè)簡(jiǎn)單的線性回歸非常好解釋，因?yàn)樗豢紤]了自變量與因變量之間的線性相關(guān)關(guān)系，但是也正因?yàn)槿绱?，它無(wú)法處理更復(fù)雜的關(guān)系，模型在測(cè)試集上的預(yù)測(cè)精度也更有可能比較低。而深度神經(jīng)網(wǎng)絡(luò)處于另一個(gè)極端，因?yàn)樗鼈兡軌蛟诙鄠€(gè)層次進(jìn)行抽象推斷，所以他們可以處理因變量與自變量之間非常復(fù)雜的關(guān)系，并且達(dá)到非常高的精度。但是這種復(fù)雜性也使模型成為黑箱，我們無(wú)法獲知所有產(chǎn)生模型預(yù)測(cè)結(jié)果的這些特征之間的關(guān)系，所以我們只能用準(zhǔn)確率、錯(cuò)誤率這樣的評(píng)價(jià)標(biāo)準(zhǔn)來(lái)代替，來(lái)評(píng)估模型的可信性。事實(shí)上，每個(gè)分類問題的機(jī)器學(xué)習(xí)流程中都應(yīng)該包括模型理解和模型解釋，原因如下：

模型改進(jìn)：

理解指標(biāo)特征、分類、預(yù)測(cè)，進(jìn)而理解為什么一個(gè)機(jī)器學(xué)習(xí)模型會(huì)做出這樣的決定、什么特征在決定中起最重要作用，能讓我們判斷模型是否符合常理。一個(gè)深度的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)區(qū)分狼和哈士奇的圖像。模型使用大量圖像訓(xùn)練，并使用另外的一些圖像進(jìn)行測(cè)試。90%的圖像被準(zhǔn)確預(yù)測(cè)，這值得我們高興。但是在沒有計(jì)算解釋函數(shù)(explainer function)時(shí)，我們不知道該模型主要基于背景：狼圖像通常有一個(gè)下雪的背景，而哈士奇的圖像很少有。所以我們不知不覺地做了一個(gè)雪地探測(cè)器，如果只看準(zhǔn)

確率這樣的指標(biāo)，我們就不會(huì)看到這一點(diǎn)。知道了模型是如何使用特征進(jìn)行預(yù)測(cè)的，我們就能直覺地判斷我們的模型是否抓住了有意義的特征，模型是或否能泛化到其他樣本的預(yù)測(cè)上。

模型可信性與透明度：

理解機(jī)器學(xué)習(xí)模型在提高模型可信度和提供審視預(yù)測(cè)結(jié)果透明度上是非常必要的，讓黑箱模型來(lái)決定人們的生活是不現(xiàn)實(shí)的，比如貸款和監(jiān)獄刑法。另一個(gè)對(duì)機(jī)器學(xué)習(xí)結(jié)果可信度提出質(zhì)疑的領(lǐng)域是藥品，模型結(jié)果會(huì)直接決定病人的生與死。機(jī)器學(xué)習(xí)模型在區(qū)分惡性腫瘤和不同類型的良性腫瘤方面是非常準(zhǔn)確的，但是我們依然需要專家對(duì)診斷結(jié)果進(jìn)行解釋，解釋為什么一個(gè)機(jī)器學(xué)習(xí)模型將某個(gè)患者的腫瘤歸類為良性或惡性將大大幫助醫(yī)生信任和使用機(jī)器學(xué)習(xí)模型來(lái)支持他們工作。長(zhǎng)久來(lái)看，更好地理解機(jī)器學(xué)習(xí)模型可以節(jié)省大量時(shí)間、防止收入損失。如果一個(gè)模型沒有做出合理的決定，在應(yīng)用這個(gè)模型并造成不良影響之前，我們就可以發(fā)現(xiàn)這一點(diǎn)。

識(shí)別和防止偏差：

方差和偏差是機(jī)器學(xué)習(xí)中廣泛討論的話題。有偏差的模型經(jīng)常由有偏見的事實(shí)導(dǎo)致，如果數(shù)據(jù)包含微妙的偏差，模型就會(huì)學(xué)習(xí)下來(lái)并認(rèn)為擬合很好。一個(gè)有名的例子是，用機(jī)器學(xué)習(xí)模型來(lái)為囚犯建議定罪量刑，這顯然反映了司法體系在種族不平等上的內(nèi)在偏差。其他例子比如用于招聘的機(jī)器學(xué)習(xí)模型，揭示了在特定職位上的性別偏差，比如男性軟件工程師和女性護(hù)士。機(jī)器學(xué)習(xí)模型在我們生活的各個(gè)層面上都是強(qiáng)有力的工具，而且它也會(huì)變得越來(lái)越流行。所以作為數(shù)據(jù)科學(xué)家和決策制定者來(lái)說，理解訓(xùn)練和發(fā)布的模型如何做出決策，從而可以事先預(yù)防偏差的增大以及消除它們。