是什么使AI系統(tǒng)擅長數(shù)學(xué)?不是原始的計算能力，而是幾乎矛盾的東西：正確地謹(jǐn)慎。

當(dāng)AI研究人員談?wù)摂?shù)學(xué)推理時，他們通常專注于擴(kuò)展 - 更大的模型，更多參數(shù)和較大的數(shù)據(jù)集。但是在實踐中，數(shù)學(xué)能力并不是關(guān)于模型的計算多少。實際上，這是關(guān)于機(jī)器是否可以學(xué)會驗證自己的工作，因為至少90%的推理錯誤來自自信地說明錯誤的中間步驟的模型。

我想一旦您理解，這聽起來很明顯。任何數(shù)學(xué)家都會告訴您，解決嚴(yán)重問題的關(guān)鍵不是原始智能，而是有條不紊的驗證。然而多年來，人工智能研究人員一直在試圖通過使模型更大來違反數(shù)學(xué)能力，仿佛單獨的計算能力會產(chǎn)生仔細(xì)的推理。

Microsoft的RSTAR-MATH通過三個鏈接的創(chuàng)新來改變此模式：每個推理步驟的代碼驗證，一個學(xué)會評估中間思維的偏好模型，以及一個多輪自我進(jìn)化過程。他們的7b參數(shù)模型(使用這些技術(shù))匹配或超過100倍大的模型的性能。

該系統(tǒng)通過在每個步驟中強(qiáng)制明確驗證來起作用。每個數(shù)學(xué)推理都必須表示為正確運行或失敗的可執(zhí)行代碼。這引起了一種人為的懷疑，它是一種健康的懷疑主義，可以防止不合理的飛躍。但是，僅驗證還不夠，該系統(tǒng)還需要學(xué)習(xí)哪種推理方法比其他方法更好，這是通過其偏好模型所做的。它需要隨著時間的流逝而改善，這通過多輪自我訓(xùn)練實現(xiàn)。

RSTAR-MATH的概述。注意已驗證的推理軌跡模塊。 它的工作方式大致如此：

1. 每個推理步驟都表示為必須正確運行的Python代碼的簡短片段。

2. 每個步驟的“流程偏好模型”對。

3. 該系統(tǒng)進(jìn)行了多輪訓(xùn)練，每個迭代都基于最后一個培訓(xùn)解決方案。

我懷疑這種持續(xù)的反饋循環(huán)迫使較小的模型以可驗證的步驟“大聲思考”，而不僅僅是猜測。這與我們現(xiàn)在在ML世界?中看到的模式相匹配，重點是通過經(jīng)過思考的模式來提高性能。 Openai的O1是最突出的例子，但是我報道了許多其他觀察類似方法的論文。

表5

表5：最具挑戰(zhàn)性的數(shù)學(xué)基準(zhǔn)，RSTAR-MATH和其他Frontier LLM的結(jié)果。 RSTAR-MATH64顯示在采樣64個軌跡時達(dá)到的通行證@1的準(zhǔn)確性。” - 從紙上。

無論如何，到最后一輪，這種較小的模型顯然在數(shù)學(xué)基準(zhǔn)上得分90%，并解決了真正的奧林匹克級AIME問題的53%，足以將其置于前20%的人類參賽者中。我希望這樣的結(jié)果需要一個具有更多參數(shù)的模型。但是RSTAR-MATH表明，如果系統(tǒng)能夠驗證每個步驟并盡早拒絕故障路徑，那么更大并不總是更好。

對我來說，令人興奮的是這可能會概括。對于數(shù)學(xué)，代碼執(zhí)行是一個干凈的驗證信號：代碼要么正確地運行，并且輸出與部分結(jié)果一致，要么沒有。在其他領(lǐng)域(例如法律，疫苗研究或創(chuàng)意藝術(shù)任務(wù))中，每個步驟都沒有明顯的是/否測試。但是，我想我們?nèi)匀豢梢詣?chuàng)建特定于域的檢查或偏好模型，以確定每個推理是否可靠。如果是這樣，只要每個推理步驟得到驗證，較小的模型就可以在許多專業(yè)任務(wù)中與較大的模型競爭。

有些人可能會擔(dān)心基于代碼的驗證是有限的，也許會問：“我們?nèi)绾螌⑵鋽U(kuò)展到每個問題?”但是我認(rèn)為我們會看到這種方法的創(chuàng)造性擴(kuò)展。例如，法律模型可以針對已知先例解析相關(guān)的法規(guī)或測試論證，并且醫(yī)學(xué)模型可能會咨詢知識庫或進(jìn)行標(biāo)準(zhǔn)治療的模擬。只要我們?yōu)檎_性構(gòu)建強(qiáng)大的檢查，我們甚至可以將這些想法應(yīng)用于日常任務(wù)。