在工業(yè)界中,數(shù)據(jù)科學或機器學習的主要焦點是更偏“應用”地解決復雜的現(xiàn)實世界至關重要的問題,而不是理論上有效地應用這些模型于正確的數(shù)據(jù)。機器學習模型本身由算法組成,該算法試圖從數(shù)據(jù)中學習潛在模式和關系,而無需硬編碼固定規(guī)則。因此,解釋模型如何對業(yè)務起作用總是會帶來一系列挑戰(zhàn)。有一些領域的行業(yè),特別是在保險或銀行等金融領域,數(shù)據(jù)科學家通常最終不得不使用更傳統(tǒng)的機器學習模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個決策非常重要。
可解釋性是指人類能夠理解決策原因的程度。機器學習模型的可解釋性越高,人們就越容易理解為什么做出某些決定或預測。模型可解釋性指對模型內(nèi)部機制的理解以及對模型結果的理解。其重要性體現(xiàn)在:建模階段,輔助開發(fā)人員理解模型,進行模型的對比選擇,必要時優(yōu)化調(diào)整模型;在投入運行階段,向業(yè)務方解釋模型的內(nèi)部機制,對模型結果進行解釋。比如基金推薦模型,需要解釋:為何為這個用戶推薦某支基金。