一種新的強化學習算法已經(jīng)學會優(yōu)化組件在計算機芯片上的位置，使其更有效率和更省電。

3D俄羅斯方塊：芯片擺放，也稱芯片層規(guī)劃，是一個復雜的三維設計問題。它需要在一個受限制的區(qū)域內跨多個層小心地配置數(shù)百個（有時是數(shù)千個）組件。傳統(tǒng)上，工程師會手動設計配置，以最小化組件之間使用的電線數(shù)量來提高效率。然后使用電子設計自動化軟件來模擬和驗證它們的性能，而僅一個單層的平面圖就需要花費超過30個小時。

時間耗費：由于每個芯片的設計投入了大量的時間，傳統(tǒng)上認為芯片的壽命在2到5年之間。但隨著機器學習算法的快速發(fā)展，對新芯片架構的需求也在加速。近年來，一些優(yōu)化芯片層規(guī)劃的算法試圖加快設計過程，但它們在跨多個目標（包括芯片的功耗、計算性能和面積）的優(yōu)化能力方面受到了限制。

智能設計：為了應對這些挑戰(zhàn)，谷歌的研究人員Anna Goldie和Azalia Mirhoseini采取了一種新的方法：強化學習。強化學習算法使用正反饋和負反饋來學習復雜的任務。因此，研究人員設計了一種所謂的“獎勵函數(shù)”，根據(jù)算法的設計表現(xiàn)對其進行懲罰和獎勵。然后，該算法產生數(shù)萬到數(shù)十萬個新設計，每個設計都在幾分之一秒內完成，并使用獎勵函數(shù)對它們進行評估。隨著時間的推移，它最終形成了以最佳方式放置芯片組件的策略。

驗證：在用電子設計自動化軟件檢查設計后，研究人員發(fā)現(xiàn)，算法的許多平面圖比人類工程師設計的要好。研究人員說，它還教會了人類一些新技巧。

生產線：縱觀該領域的歷史，人工智能的發(fā)展與芯片設計的發(fā)展緊密相連。該算法有望加速芯片設計過程，并產生新一代改進的架構，從而加速人工智能的發(fā)展。