周二(8月20日)，英偉達(dá)在官網(wǎng)技術(shù)博客中宣布，其在2024科隆國(guó)際游戲展(Gamescom 2024)上發(fā)布了首款設(shè)備端小型語言模型(SLM)，可用于提升游戲角色對(duì)話能力。

英偉達(dá)還宣布，首款展示“NVIDIA ACE”數(shù)字人技術(shù)的游戲是Amazing Seasun Games(西山居)開發(fā)的《Mecha BREAK》(解限機(jī)) ，新技術(shù)能讓游戲中的角色栩栩如生，以提供更具活力和沉浸感的游戲體驗(yàn)。

年初的時(shí)候，英偉達(dá)就發(fā)布了其數(shù)字人技術(shù)NVIDIA ACE，可以提供由生成式人工智能驅(qū)動(dòng)的語音、智能和動(dòng)畫?，F(xiàn)在這項(xiàng)技術(shù)擁有了其第一個(gè)SLM“Nemotron-4 4B Instruct”。

新聞稿稱，英偉達(dá)對(duì)該模型進(jìn)行了優(yōu)化，提高了其響應(yīng)速度和設(shè)備端推理的性能，VRAM使用量被降至約2GB，顯著縮短了首個(gè)Token的生成時(shí)間，可作為“NVIDIA NIM”推理微服務(wù)供游戲開發(fā)人員在云和設(shè)備上部署。

作為首款采用NVIDIA ACE NIM的游戲，《解限機(jī)》中的NPC(非玩家控制角色)機(jī)械師能夠響應(yīng)玩家的指令——NVIDIA Audio2Face-3D NIM和Whisper在設(shè)備上負(fù)責(zé)面部動(dòng)畫和語音識(shí)別，Elevenlabs則通過云端提供角色聲音。

Whisper是OpenAI研發(fā)并開源的一個(gè)自動(dòng)語音識(shí)別模型。這些技術(shù)相結(jié)合，玩家能夠與《解限機(jī)》中的機(jī)械師進(jìn)行互動(dòng)，機(jī)械師可以幫助玩家根據(jù)戰(zhàn)斗風(fēng)格和團(tuán)隊(duì)需要選擇機(jī)甲，協(xié)助玩家定制機(jī)甲外觀，并就戰(zhàn)斗提供建議