是什么使AI系統(tǒng)擅長數學?不是原始的計算能力，而是幾乎矛盾的東西：正確地謹慎。

當AI研究人員談論數學推理時，他們通常專注于擴展 - 更大的模型，更多參數和較大的數據集。但是在實踐中，數學能力并不是關于模型的計算多少。實際上，這是關于機器是否可以學會驗證自己的工作，因為至少90%的推理錯誤來自自信地說明錯誤的中間步驟的模型。

我想一旦您理解，這聽起來很明顯。任何數學家都會告訴您，解決嚴重問題的關鍵不是原始智能，而是有條不紊的驗證。然而多年來，人工智能研究人員一直在試圖通過使模型更大來違反數學能力，仿佛單獨的計算能力會產生仔細的推理。

Microsoft的RSTAR-MATH通過三個鏈接的創(chuàng)新來改變此模式：每個推理步驟的代碼驗證，一個學會評估中間思維的偏好模型，以及一個多輪自我進化過程。他們的7b參數模型(使用這些技術)匹配或超過100倍大的模型的性能。

該系統(tǒng)通過在每個步驟中強制明確驗證來起作用。每個數學推理都必須表示為正確運行或失敗的可執(zhí)行代碼。這引起了一種人為的懷疑，它是一種健康的懷疑主義，可以防止不合理的飛躍。但是，僅驗證還不夠，該系統(tǒng)還需要學習哪種推理方法比其他方法更好，這是通過其偏好模型所做的。它需要隨著時間的流逝而改善，這通過多輪自我訓練實現(xiàn)。

RSTAR-MATH的概述。注意已驗證的推理軌跡模塊。 它的工作方式大致如此：

1. 每個推理步驟都表示為必須正確運行的Python代碼的簡短片段。

2. 每個步驟的“流程偏好模型”對。

3. 該系統(tǒng)進行了多輪訓練，每個迭代都基于最后一個培訓解決方案。

我懷疑這種持續(xù)的反饋循環(huán)迫使較小的模型以可驗證的步驟“大聲思考”，而不僅僅是猜測。這與我們現(xiàn)在在ML世界?中看到的模式相匹配，重點是通過經過思考的模式來提高性能。 Openai的O1是最突出的例子，但是我報道了許多其他觀察類似方法的論文。

表5

表5：最具挑戰(zhàn)性的數學基準，RSTAR-MATH和其他Frontier LLM的結果。 RSTAR-MATH64顯示在采樣64個軌跡時達到的通行證@1的準確性?！?- 從紙上。

無論如何，到最后一輪，這種較小的模型顯然在數學基準上得分90%，并解決了真正的奧林匹克級AIME問題的53%，足以將其置于前20%的人類參賽者中。我希望這樣的結果需要一個具有更多參數的模型。但是RSTAR-MATH表明，如果系統(tǒng)能夠驗證每個步驟并盡早拒絕故障路徑，那么更大并不總是更好。

對我來說，令人興奮的是這可能會概括。對于數學，代碼執(zhí)行是一個干凈的驗證信號：代碼要么正確地運行，并且輸出與部分結果一致，要么沒有。在其他領域(例如法律，疫苗研究或創(chuàng)意藝術任務)中，每個步驟都沒有明顯的是/否測試。但是，我想我們仍然可以創(chuàng)建特定于域的檢查或偏好模型，以確定每個推理是否可靠。如果是這樣，只要每個推理步驟得到驗證，較小的模型就可以在許多專業(yè)任務中與較大的模型競爭。

有些人可能會擔心基于代碼的驗證是有限的，也許會問：“我們如何將其擴展到每個問題?”但是我認為我們會看到這種方法的創(chuàng)造性擴展。例如，法律模型可以針對已知先例解析相關的法規(guī)或測試論證，并且醫(yī)學模型可能會咨詢知識庫或進行標準治療的模擬。只要我們?yōu)檎_性構建強大的檢查，我們甚至可以將這些想法應用于日常任務。