什么是架構?架構是上文中沒有提到的一個概念，就是說這些旋鈕并不是一字排開的，他們分成很多層，不同層級的旋鈕之間有很多連接。這些層級和關聯關系就組成了架構。比如說同樣的十個旋鈕，下圖中左右兩側的架構是不同的。在參數量(旋鈕的數量)和參數值(旋鈕的刻度)一樣的情況下，架構不同，也會產生完全不同的效果。

2022年對AI來說注定是不平凡的一年，這不吳恩達、Bengio等一眾圈內大佬在接受DeepLearning.ai的采訪中展望了2023年AI的發(fā)展趨勢，還分享了自己的科研小故事。

還有不到3天，2022年就要過去了。

辭舊迎新之際，吳恩達、Bengio等一眾AI大佬們在DeepLearning.ai聚在一起，展望了自己眼中的2023年。

作為DeepLearning.ai的創(chuàng)始人，吳恩達首先發(fā)表了歡迎致辭，并回憶起自己剛開始搞研究的那段歲月 ，為這場多位大佬參與的討論開了個好頭。

從北京冬奧會上支持多語言服務的智能機器人、AI手語虛擬主播到近日“方向盤后無人”車開跑，人工智能可謂大放異彩。以Generative Pre-trained Transformer 3(GPT- 3)為代表的大模型(Foundation Model)正在成為人工智能“新高地”。如何理解AI大模型?其發(fā)展主要經歷了哪些重要階段?AI大模型主要用于解決哪些問題?就業(yè)界關注的這些熱點問題，《人民郵電》報記者分別采訪了中國人民大學高瓴人工智能學院執(zhí)行院長文繼榮和中國信息通信研究院云計算與大數據研究所人工智能部副主任曹峰。AI大模型就是Foundation Model(基礎模型)，指通過在大規(guī)模寬泛的數據上進行訓練后能適應一系列下游任務的模型。

谷歌于2018年10月發(fā)布的BERT模型是最為典型的基礎模型，它利用BooksCorpus和英文維基百科里純文字的部分，無須標注數據，用設計的兩個自監(jiān)督任務來做訓練，訓練好的模型通過微調在11個下游任務上實現最佳性能。

OpenAI在2020年5月發(fā)布的GPT-3則是一個自回歸語言模型，具有1750億參數，在互聯網文本數據上訓練得到的這一基礎模型，可以使用提示的例子完成各式各樣的任務，使用描述任務(如“把英文翻譯成法語：”)加一個示例(如“sea otter => loutre de mer”)，再給一個prompt提示(如“cheese =>”)，GPT-3模型即可生成cheese對應的法文。這類模型正在成為主流的AI范式。

AI大模型是人工智能邁向通用智能的里程碑技術。深度學習作為新一代人工智能的標志性技術，完全依賴模型自動從數據中學習知識，在顯著提升性能的同時，也面臨著通用數據激增與專用數據匱乏的矛盾。AI大模型兼具“大規(guī)?！焙汀邦A訓練”兩種屬性，面向實際任務建模前需在海量通用數據上進行預先訓練，能大幅提升AI的泛化性、通用性、實用性。

AI(人工智能)大模型相當于“超級大腦”，正成為人工智能“新高地”。AI大模型有望實現人工智能從感知到認知的躍遷，重新定義人工智能產業(yè)模式和產業(yè)標準，給部分產業(yè)帶來重大變革。我國有較大的AI大模型應用市場，但發(fā)展過程中面臨部分技術薄弱、人才稀缺、成本高昂等多重挑戰(zhàn)，亟須對相關技術研發(fā)和產業(yè)布局加以引導和支持。

“學富五車”的“超級大腦”

——“不開心的話可以聽點開心的歌，看看喜劇，也可以去運動，或者好好休息一下?！?

——“心情不好是一種很正常的情緒，所以不用太過自責?！?

針對“今天心情不好應該怎么辦”這一問題，一個人工智能平臺以不同的“人設”，給出了不同的回答。通過網址鏈接進入該平臺，在“人設問答”區(qū)隨機輸入問題，機器可支持和扮演不同“人設”，對問題給出多角度答案。該平臺正是基于AI大模型打造而成。

創(chuàng)新工場首席科學家、北京瀾舟科技創(chuàng)始人周明介紹，AI大模型也稱人工智能預訓練模型，將海量數據導入具有幾億量級甚至十萬億量級參數的模型中，機器通過做類似“完形填空”等任務，深度學習數據中蘊含的特征、結構，最終被訓練成具有邏輯推理和分析能力的人工智能。

通俗地說，AI大模型相當于做了無數套關于各領域知識練習題、模擬題的“超級大腦”，深諳各領域知識內在邏輯和解題思路，既能理解人類世界的知識體系，也可能產出新的知識。

2018年起，人工智能進入“大模型時代”，由重復開發(fā)、手工作坊式人工智能，即“一千個應用場景就有一千個小模型”的零散、低效局面，走向工業(yè)化、集成化智能的全新路徑，以一個大模型“走天下”，為通用人工智能帶來曙光。比如，為生產智能音響，各個品牌競相開發(fā)各自的AI小模型，未來各品牌只需在同一個AI大模型基礎上開發(fā)即可。

從2020年開始，國際最頂尖的AI技術發(fā)展，愈來愈像一場比拼資金與人才的軍備競賽。

2020年，OpenAI發(fā)布NLP預訓練模型GPT-3，光論文就有72頁，作者多達31人，該模型參數1750億，耗資1200萬美元;

2021年1月，谷歌發(fā)布首個萬億級模型Switch Transformer，宣布突破了GPT-3參數記錄;

4月，華為盤古大模型參數規(guī)模達到千億級別，定位于中文語言預訓練模型;

11月，微軟和英偉達在燒壞了4480塊CPU后，完成了5300億參數的自然語言生成模型(MT-NLG)，一舉拿下單體Transformer語言模型界“最大”和“最強”兩個稱號;

今年1月，Meta宣布要與英偉達打造AI超級計算機RSC，RSC每秒運算可達50億次，算力可以排到全球前四的水平。

除此之外，阿里、浪潮、北京智源研究院等，均發(fā)布了最新產品，平均參數過百億。

看起來，這些預訓練模型的參數規(guī)模沒有最大，只有更大，且正以遠超摩爾定律的速度增長。其在對話、語義識別方面的表現，一次次刷新人們的認知。