號稱世界第一!李開復(fù)親自帶隊(duì)的 AI 大模型官宣
業(yè)內(nèi)消息,近日由李開復(fù)博士(創(chuàng)新工場董事長兼CEO)親自下場創(chuàng)辦的零一萬物(01.ai)官宣正式發(fā)布了首款研發(fā)的最強(qiáng)開源人工智能中英文大模型系列 Yi-6B 和 Yi-34B,數(shù)據(jù)參數(shù)量分別為 60 億和 340 億。
“零一萬物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo),從招的第一個(gè)人,寫的第一行代碼,設(shè)計(jì)的第一個(gè)模型開始,就一直抱著成為世界第一的初衷和決心。” 李開復(fù)表示:“我們組成了一支有潛力對標(biāo) OpenAI/Google等一線大廠的團(tuán)隊(duì),經(jīng)歷了近半年的厚積薄發(fā),交出了第一張極具全球競爭力的耀眼成績單。Yi-34B可以說不負(fù)眾望,一鳴驚人?!?
李開復(fù)強(qiáng)調(diào),本次發(fā)布選擇 6B/34B是因?yàn)檫@是當(dāng)前對學(xué)術(shù)、開發(fā)者社區(qū)最友好的版本,34B 模型版本具備更優(yōu)越的知識容量、下游任務(wù)的容納能力和多模態(tài)能力,也達(dá)到了大模型 「涌現(xiàn)」的門檻。
而比起更大的 50B-70B,34B 是單卡推理可接受的模型尺寸的上限,訓(xùn)練成本對開發(fā)者更友好,經(jīng)過量化的模型可以在一張消費(fèi)級顯卡(如4090)上進(jìn)行高效率的推理,對開發(fā)者操作服務(wù)部署有很大的優(yōu)勢。
李開復(fù)稱,在完成Yi-34B預(yù)訓(xùn)練的同時(shí)已經(jīng)啟動下一個(gè)千億參數(shù)模型的訓(xùn)練,零一萬物在持續(xù)進(jìn)行千億參數(shù)規(guī)模的模型訓(xùn)練并準(zhǔn)備好了未來 18 個(gè)月所需的算力,在多模態(tài)方面已經(jīng)形成了十多人的技術(shù)團(tuán)隊(duì),在未來一兩個(gè)月內(nèi)就會有相關(guān)工作能夠?qū)ν夤_。
在線上發(fā)布環(huán)節(jié),李開復(fù)博士重點(diǎn)介紹了 Yi 系列大模型的三處性能亮點(diǎn):
- 全球最長 200K 上下文窗口,免費(fèi)開源
- 超強(qiáng) Al Infra 實(shí)測訓(xùn)練,成本下降40%
- 科學(xué)訓(xùn)模自研「規(guī)?;?xùn)練實(shí)驗(yàn)平臺」
Yi-34B 目前在各個(gè)基準(zhǔn)測試中,都獲得了很好的表現(xiàn),據(jù)零一萬物提供的評測結(jié)果看來,Yi-34B 和 Yi-6B 均在 MMLU、BBH、C-Eval 取得了不錯(cuò)的成績。