[導(dǎo)讀]整理?|禾木木出品|?AI科技大本營(yíng)(ID:rgznai100)英偉達(dá)又一次突破了,這么逼真的照片竟然不是來(lái)自攝影師或是設(shè)計(jì)師!近日,英偉達(dá)官方推出GauGAN2的人工智能系統(tǒng),它是其GauGAN模型的繼承者,它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像,還能實(shí)時(shí)用文字P圖!GauGAN2...
整理 | 禾木木出品 | AI科技大本營(yíng)(ID:rgznai100)英偉達(dá)又一次突破了,這么逼真的照片竟然不是來(lái)自攝影師或是設(shè)計(jì)師!
近日,英偉達(dá)官方推出 GauGAN2 的人工智能系統(tǒng),它是其 GauGAN 模型的繼承者,它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像,還能實(shí)時(shí)用文字P圖!GauGAN2 將分割映射、修復(fù)和文本到圖像生成等技術(shù)結(jié)合在一個(gè)工具中,通過(guò)輸入文字和簡(jiǎn)單的繪圖來(lái)創(chuàng)建逼真的圖像。Isha Salian 表示“與類(lèi)似的圖像生成模型相比,GauGAN2 的神經(jīng)網(wǎng)絡(luò)能夠產(chǎn)生更多種類(lèi)和更高質(zhì)量的圖像。”英偉達(dá)的企業(yè)傳播團(tuán)隊(duì)在一篇博客文章中寫(xiě)道。“用戶(hù)無(wú)需繪制想象場(chǎng)景的每個(gè)元素,只需輸入一個(gè)簡(jiǎn)短的短語(yǔ)即可快速生成圖像的關(guān)鍵特征和主題,例如雪山山脈。然后可以用草圖定制這個(gè)起點(diǎn),使特定的山更高,或在前景中添加幾棵樹(shù),或在天空中添加云彩?!?/span>例如輸入海浪打在巖石上,模型會(huì)根據(jù)生成的內(nèi)容逐漸進(jìn)行相應(yīng)的調(diào)整,以生成與描述匹配的逼真圖像。
GauGAN2 的生成模式
GauGAN2 有三種繪制模式,可以從不同的輸入生成逼真的圖像。模式1:用涂鴉生成風(fēng)景照
模式2:輸入文本生成圖片
這種輸入文本生成匹配圖像的模式也是 GauGAN2 主要的創(chuàng)新,生成的圖像會(huì)根據(jù)逐漸輸入的文本不斷發(fā)生變化,最終生成和文本匹配最佳的圖像。例如在下圖的示例中,文本首先輸入 sunshine(陽(yáng)光),生成的圖像中就只出現(xiàn)了一個(gè)太陽(yáng);之后繼續(xù)輸入 a tall tree(高樹(shù)),圖像中就出現(xiàn)了樹(shù)(且為頂部樹(shù)枝,匹配高樹(shù));最后,輸入的全部文本是 sunshine in a tall tree forest ,意為透過(guò)森林的陽(yáng)光,GauGAN2 最終生成的圖像與之相匹配:
模式 3:輸入圖像并編輯部分內(nèi)容如果想要抹掉移除的內(nèi)容,在生成的圖像中會(huì)保留剩余的部分,并自動(dòng)補(bǔ)全出多種新的完整圖像:
這三種模式也可以混合疊加使用,例如在用涂鴉繪畫(huà)等生成圖像后,輸入文本進(jìn)行相應(yīng)的修改,在下圖中就生成了一座浮在空中的城堡就出現(xiàn)了。
像像外媒ZDNet就惡搞出來(lái)了一種神奇的玩法,在已有的風(fēng)景上畫(huà)個(gè)人頭—,畫(huà)人頭:
在生成這一系列逼真的圖像背后用了什么原理呢?
如何實(shí)現(xiàn)?
從 2019 年開(kāi)始,英偉達(dá)改進(jìn) GauGAN 系統(tǒng),該系統(tǒng)由超過(guò)一百萬(wàn)個(gè)公共 Flickr 圖像的訓(xùn)練而成。與 GauGAN 一樣,GauGAN2 可以理解雪、樹(shù)、水、花、灌木、丘陵和山脈等物體之間的關(guān)系,例如降水類(lèi)型隨季節(jié)而變化的事實(shí)。GauGAN2 是一種稱(chēng)為生成對(duì)抗網(wǎng)絡(luò) (GAN) 的系統(tǒng),由生成器和判別器組成。生成器用于獲取樣本,例如獲取與文本配對(duì)的圖像,并預(yù)測(cè)哪些數(shù)據(jù)(單詞)對(duì)應(yīng)于其他數(shù)據(jù)(風(fēng)景圖片的元素)。生成器試圖通過(guò)欺騙鑒別器來(lái)進(jìn)行訓(xùn)練,鑒別器則用于評(píng)估預(yù)測(cè)結(jié)果是否現(xiàn)實(shí)。雖然 GAN 的轉(zhuǎn)換最初的質(zhì)量很差,但隨著鑒別器的反饋二不斷改善。與 GauGAN 不同的是,GauGAN2 是在 1000 萬(wàn)張圖像上訓(xùn)練而成——可以將自然語(yǔ)言描述成風(fēng)景圖像。輸入諸如“海灘日落”之類(lèi)的短語(yǔ)會(huì)生成場(chǎng)景,而添加諸如“巖石海灘日落”之類(lèi)的形容詞或?qū)ⅰ叭章洹碧鎿Q為“下午”或“下雨天”等形容詞會(huì)立即修改畫(huà)面。GauGAN2 用戶(hù)可以生成分割圖,顯示場(chǎng)景中對(duì)象位置的高級(jí)輪廓。從那里,他們可以切換到繪圖,使用“天空”、“樹(shù)”、“巖石”和“河流”等標(biāo)簽通過(guò)粗略的草圖調(diào)整場(chǎng)景,并允許工具的畫(huà)筆將涂鴉融入圖像。這是屬于更新迭代的過(guò)程,用戶(hù)在文本框中鍵入的每個(gè)詞都會(huì)為 AI 創(chuàng)建的圖像添加更多內(nèi)容,因而 GauGAN2 才能隨著輸入文本而不斷變換圖像。
結(jié)語(yǔ)
GauGAN2 與 OpenAI 的 DALL-E 沒(méi)有什么不同。不過(guò),這兩個(gè)模型生成的內(nèi)容其實(shí)不太一樣。GauGAN2 專(zhuān)注于生成風(fēng)景照,DALL·E 則更多地生成具體的物體,例如一把椅子或者一個(gè)鬧鐘等。英偉達(dá)聲稱(chēng),GauGAN 的第一個(gè)版本已經(jīng)被用于為電影和視頻游戲創(chuàng)作概念藝術(shù)。與它一樣,英偉達(dá) 計(jì)劃在 GitHub 上提供 GauGAN2 的代碼,同時(shí)在 Playground 上提供交互式演示,Playground 是 英偉達(dá)人工智能和深度學(xué)習(xí)研究的網(wǎng)絡(luò)中心。像 GauGAN2 這樣的生成模型的一個(gè)缺點(diǎn)是存在偏差的可能性。例如在 DALL-E 的案例中,OpenAI 使用了一種 CLIP 模型來(lái)提高生成圖像質(zhì)量,但在一項(xiàng)研究中發(fā)現(xiàn),CLIP 對(duì)黑人照片的錯(cuò)誤分類(lèi)率更高,并且存在種族和性別偏見(jiàn)問(wèn)題。英偉達(dá)暫不會(huì)對(duì) GauGAN2 是否存在偏見(jiàn)給出回應(yīng)。英偉達(dá)發(fā)言人表示:“該模型有超過(guò) 1 億個(gè)參數(shù),訓(xùn)練時(shí)間不到一個(gè)月(還在 demo 階段),訓(xùn)練圖像來(lái)自專(zhuān)有的風(fēng)景圖像數(shù)據(jù)集。因此 GauGAN2 只專(zhuān)注于風(fēng)景,研究團(tuán)隊(duì)還對(duì)圖像進(jìn)行審核以確保圖片中沒(méi)有包含人的場(chǎng)景?!边@將有助于減少 GauGAN2 的偏見(jiàn)。目前,GauGAN2 已經(jīng)可以試完,有使用過(guò)或是想要去體驗(yàn)的可以在留言區(qū)談?wù)擉w驗(yàn)感受呦~
欲知詳情,請(qǐng)下載word文檔
下載文檔
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專(zhuān)欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
據(jù)悉,英偉達(dá)GeForce RTX 4090系列顯卡于10月15日正式線下開(kāi)售,近日業(yè)內(nèi)相關(guān)的媒體對(duì)其進(jìn)行了性能測(cè)試對(duì)比,結(jié)果發(fā)現(xiàn)無(wú)論是壓力測(cè)試、跑分還是幀數(shù)相比以往的旗艦系列均得到極大提升。
關(guān)鍵字:
英偉達(dá)
GeForce RTX 4090
自從上個(gè)月RTX 4080 12GB版發(fā)布之后,這個(gè)型號(hào)的顯卡就受到了很多網(wǎng)友的質(zhì)疑,認(rèn)為英偉達(dá)將其歸為“80系”就是為了賣(mài)高價(jià)。在收到大量玩家的批評(píng)與不滿(mǎn)后,英偉達(dá)突然宣布取消發(fā)售RTX 4080 12GB版顯卡。
關(guān)鍵字:
英偉達(dá)
顯卡
10 月 2 日消息,亞洲科技出版社表示,芯片大廠英偉達(dá)打算與蘋(píng)果公司做同樣的事情,他們拒絕了臺(tái)積電 2023 年的漲價(jià)計(jì)劃。
關(guān)鍵字:
蘋(píng)果
英偉達(dá)
臺(tái)積電
于是眾多的媒體和機(jī)構(gòu)就表示,整個(gè)晶圓市場(chǎng),接下來(lái)可能會(huì)面臨產(chǎn)能過(guò)剩的風(fēng)險(xiǎn),分析機(jī)構(gòu)Future Horizons甚至認(rèn)為明年芯片產(chǎn)業(yè)至少下行25%。
關(guān)鍵字:
蘋(píng)果
英偉達(dá)
臺(tái)積電
科技公司們認(rèn)為,收購(gòu)將使英偉達(dá)控制一個(gè)重要的供應(yīng)商,該供應(yīng)商向蘋(píng)果、英特爾、三星電子、亞馬遜和華為等公司授權(quán)基本的芯片技術(shù),同時(shí)也向不計(jì)其數(shù)的中小技術(shù)企業(yè)提供授權(quán)??偛课挥谟?guó)的ARM公司將芯片設(shè)計(jì)和相關(guān)軟件代碼授權(quán)給所...
關(guān)鍵字:
英偉達(dá)
ARM
半導(dǎo)體公司
在去年九月,英偉達(dá)宣布以400億美金收購(gòu)ARM時(shí),就注定這場(chǎng)收購(gòu)不會(huì)太順利。因?yàn)橐坏〢RM成功被英偉達(dá)收購(gòu),這將使ARM改變?cè)谌虬雽?dǎo)體市場(chǎng)中的中立立場(chǎng),因?yàn)锳RM的很多客戶(hù),都是英偉達(dá)的直接或者間接的對(duì)手。除此之外,還...
關(guān)鍵字:
英偉達(dá)
ARM
半導(dǎo)體
當(dāng)?shù)貢r(shí)間9月20日晚間,英偉在2022秋季GTC大會(huì)上發(fā)布車(chē)載芯片Thor,單顆算力達(dá)到2000TFLOPS。此前,英偉達(dá)曾發(fā)布自動(dòng)駕駛芯片Altan,單顆算力為1000TFLOPS,原本預(yù)定2024年上市。在推出Tho...
關(guān)鍵字:
英偉達(dá)
Thor芯片
特斯拉
英偉達(dá)放棄收購(gòu)軟銀集團(tuán)(SoftBank Group)旗下ARM之后,各方勢(shì)力再次粉墨登場(chǎng),開(kāi)啟新一輪的爭(zhēng)奪。9月21日,據(jù)韓國(guó)媒體EDAILY報(bào)道,三星掌門(mén)人李在镕獲得特赦之后,開(kāi)啟歐洲行程并出現(xiàn)在英國(guó)。而ARM恰好是...
關(guān)鍵字:
三星
ARM
英偉達(dá)
9 月 21 日消息,據(jù)媒體報(bào)道,英偉達(dá) 2020 年 9 月 13 日宣布的 400 億美元收購(gòu) Arm 的交易,由于在監(jiān)管方面面臨重大挑戰(zhàn),最終以失敗告終,英偉達(dá)和 Arm 的擁有者軟銀集團(tuán),在今年 2 月 14 日...
關(guān)鍵字:
ARM
英偉達(dá)
軟銀集團(tuán)
美國(guó)對(duì)中國(guó)芯片技術(shù)的一系列圍追堵截政策,正在反噬美本土芯片企業(yè)。據(jù)彭博社報(bào)道,拜登政府計(jì)劃對(duì)中國(guó)實(shí)施更廣泛的芯片技術(shù)限制,可能會(huì)對(duì)向中國(guó)出口人工智能芯片與芯片制造設(shè)備的企業(yè)設(shè)置更多條件,這使得美國(guó)的芯片企業(yè)備受壓力。
關(guān)鍵字:
華盛頓
英偉達(dá)
芯片限制
據(jù)業(yè)內(nèi)消息,昨天英偉達(dá)CEO黃仁勛在GTC 2022發(fā)表演講,老黃表示Ada Lovelace正在為未來(lái)虛擬世界鋪路,隨即宣布了英偉達(dá)正式推出基于Ada Lovelace架構(gòu)的GPU GeForce RTX 4090和1...
關(guān)鍵字:
英偉達(dá)
Ada
黃仁勛
RTX 4090
據(jù)業(yè)內(nèi)消息,英偉達(dá)近日發(fā)布了全新一代整車(chē)級(jí)車(chē)載芯片方案Drive Thor(計(jì)算平臺(tái)),英偉達(dá)表示Drive Thor可以統(tǒng)一包括自動(dòng)/輔助駕駛以及車(chē)載娛樂(lè)功能等在內(nèi)的所有汽車(chē)數(shù)字功能的實(shí)現(xiàn),駕駛員甚至可以用人工智能為后...
關(guān)鍵字:
英偉達(dá)
車(chē)載芯片
Drive Thor
極氪
NVIDIA GeForce RTX 3060 顯卡是NVIDIA公司生產(chǎn)的顯卡。GeForce RTX? 30 系列 GPU 強(qiáng)勁的性能滿(mǎn)足玩家和設(shè)計(jì)者。產(chǎn)品采用第 2 代 NVIDIA RTX 架構(gòu) - NVIDIA...
關(guān)鍵字:
英偉達(dá)
RTX 3060
8GB
除了收購(gòu) Linutronix 這個(gè)以實(shí)時(shí) (RT) 內(nèi)核補(bǔ)丁和其他貢獻(xiàn)而聞名的公司,以及在 6 月收購(gòu) Codeplay Software 之外,英特爾今天還收購(gòu)了另一支開(kāi)發(fā)團(tuán)隊(duì) ——ArrayFire,進(jìn)一步推進(jìn)他們...
關(guān)鍵字:
英特爾
英偉達(dá)
GPU
半導(dǎo)體行業(yè)的納米技術(shù)目前競(jìng)爭(zhēng)十分激烈,雖然行業(yè)處于絕對(duì)的壟斷,但是幾家目標(biāo)公司競(jìng)爭(zhēng)也十分殘酷。其中老大哥臺(tái)積電目前占據(jù)行業(yè)內(nèi)絕對(duì)優(yōu)勢(shì)。
關(guān)鍵字:
臺(tái)積電
英偉達(dá)
AMD
芯片
根據(jù)目前車(chē)載芯片市場(chǎng)情況來(lái)看,無(wú)論在技術(shù)先進(jìn)性、性能指標(biāo),還是量產(chǎn)交付能力方面,英偉達(dá)Orin芯片是近乎壟斷的,而隨著大國(guó)之間的競(jìng)爭(zhēng)和對(duì)半導(dǎo)體行業(yè)的限制,未來(lái)有可能將會(huì)對(duì)中國(guó)新能源汽車(chē)市場(chǎng)帶來(lái)沖擊。
關(guān)鍵字:
英偉達(dá)
車(chē)載芯片
據(jù)報(bào)道,美國(guó)當(dāng)?shù)刂莞賳T透露,臺(tái)積電美國(guó)工廠的主要建設(shè)工作已經(jīng)完成。實(shí)際上,早先上梁典禮的舉辦就意味著工廠的基礎(chǔ)設(shè)施差不多完工,后面就是要安裝設(shè)備、調(diào)試了。
關(guān)鍵字:
臺(tái)積電
英偉達(dá)
AMD
芯片
據(jù)報(bào)道,近日美國(guó)政府要求兩家美國(guó)芯片設(shè)計(jì)公司停止向中國(guó)出售頂級(jí)計(jì)算機(jī)芯片。
關(guān)鍵字:
英偉達(dá)
AMD
英特爾
據(jù)悉,臺(tái)積電2nm技術(shù)和3nm技術(shù)相比,功效大幅往前推進(jìn),在相同功耗下,速度增快10~15%,而在相同速度下,功耗則能夠降低25~30%。?
關(guān)鍵字:
臺(tái)積電
英偉達(dá)
AMD
芯片