當(dāng)前位置：首頁 > 公眾號精選 > AI科技大本營

太贊了！英偉達又一突破，輸入關(guān)鍵詞就可以生成直逼攝影師的大片

時間：2021-11-29 14:58:17

關(guān)鍵字：英偉達

手機看文章

掃描二維碼
隨時隨地手機看文章

[導(dǎo)讀]整理?|禾木木出品|?AI科技大本營（ID:rgznai100）英偉達又一次突破了，這么逼真的照片竟然不是來自攝影師或是設(shè)計師！近日，英偉達官方推出GauGAN2的人工智能系統(tǒng)，它是其GauGAN模型的繼承者，它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像，還能實時用文字P圖！GauGAN2...

整理 | 禾木木出品 | AI科技大本營（ID:rgznai100）英偉達又一次突破了，這么逼真的照片竟然不是來自攝影師或是設(shè)計師！
近日，英偉達官方推出 GauGAN2 的人工智能系統(tǒng)，它是其 GauGAN 模型的繼承者，它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像，還能實時用文字P圖！GauGAN2 將分割映射、修復(fù)和文本到圖像生成等技術(shù)結(jié)合在一個工具中，通過輸入文字和簡單的繪圖來創(chuàng)建逼真的圖像。Isha Salian 表示“與類似的圖像生成模型相比，GauGAN2 的神經(jīng)網(wǎng)絡(luò)能夠產(chǎn)生更多種類和更高質(zhì)量的圖像?！?/span>英偉達的企業(yè)傳播團隊在一篇博客文章中寫道。“用戶無需繪制想象場景的每個元素，只需輸入一個簡短的短語即可快速生成圖像的關(guān)鍵特征和主題，例如雪山山脈。然后可以用草圖定制這個起點，使特定的山更高，或在前景中添加幾棵樹，或在天空中添加云彩?！?/span>例如輸入海浪打在巖石上，模型會根據(jù)生成的內(nèi)容逐漸進行相應(yīng)的調(diào)整，以生成與描述匹配的逼真圖像。

GauGAN2 的生成模式

GauGAN2 有三種繪制模式，可以從不同的輸入生成逼真的圖像。模式1：用涂鴉生成風(fēng)景照

模式2：輸入文本生成圖片

這種輸入文本生成匹配圖像的模式也是 GauGAN2 主要的創(chuàng)新，生成的圖像會根據(jù)逐漸輸入的文本不斷發(fā)生變化，最終生成和文本匹配最佳的圖像。例如在下圖的示例中，文本首先輸入 sunshine（陽光），生成的圖像中就只出現(xiàn)了一個太陽；之后繼續(xù)輸入 a tall tree（高樹），圖像中就出現(xiàn)了樹（且為頂部樹枝，匹配高樹）；最后，輸入的全部文本是 sunshine in a tall tree forest ，意為透過森林的陽光，GauGAN2 最終生成的圖像與之相匹配：

模式 3：輸入圖像并編輯部分內(nèi)容如果想要抹掉移除的內(nèi)容，在生成的圖像中會保留剩余的部分，并自動補全出多種新的完整圖像：

這三種模式也可以混合疊加使用，例如在用涂鴉繪畫等生成圖像后，輸入文本進行相應(yīng)的修改，在下圖中就生成了一座浮在空中的城堡就出現(xiàn)了。

像像外媒ZDNet就惡搞出來了一種神奇的玩法，在已有的風(fēng)景上畫個人頭—，畫人頭：

在生成這一系列逼真的圖像背后用了什么原理呢？

如何實現(xiàn)？

從 2019 年開始，英偉達改進 GauGAN 系統(tǒng)，該系統(tǒng)由超過一百萬個公共 Flickr 圖像的訓(xùn)練而成。與 GauGAN 一樣，GauGAN2 可以理解雪、樹、水、花、灌木、丘陵和山脈等物體之間的關(guān)系，例如降水類型隨季節(jié)而變化的事實。GauGAN2 是一種稱為生成對抗網(wǎng)絡(luò) (GAN) 的系統(tǒng)，由生成器和判別器組成。生成器用于獲取樣本，例如獲取與文本配對的圖像，并預(yù)測哪些數(shù)據(jù)（單詞）對應(yīng)于其他數(shù)據(jù)（風(fēng)景圖片的元素）。生成器試圖通過欺騙鑒別器來進行訓(xùn)練，鑒別器則用于評估預(yù)測結(jié)果是否現(xiàn)實。雖然 GAN 的轉(zhuǎn)換最初的質(zhì)量很差，但隨著鑒別器的反饋二不斷改善。與 GauGAN 不同的是，GauGAN2 是在 1000 萬張圖像上訓(xùn)練而成——可以將自然語言描述成風(fēng)景圖像。輸入諸如“海灘日落”之類的短語會生成場景，而添加諸如“巖石海灘日落”之類的形容詞或?qū)ⅰ叭章洹碧鎿Q為“下午”或“下雨天”等形容詞會立即修改畫面。GauGAN2 用戶可以生成分割圖，顯示場景中對象位置的高級輪廓。從那里，他們可以切換到繪圖，使用“天空”、“樹”、“巖石”和“河流”等標簽通過粗略的草圖調(diào)整場景，并允許工具的畫筆將涂鴉融入圖像。這是屬于更新迭代的過程，用戶在文本框中鍵入的每個詞都會為 AI 創(chuàng)建的圖像添加更多內(nèi)容，因而 GauGAN2 才能隨著輸入文本而不斷變換圖像。

結(jié)語

GauGAN2 與 OpenAI 的 DALL-E 沒有什么不同。不過，這兩個模型生成的內(nèi)容其實不太一樣。GauGAN2 專注于生成風(fēng)景照，DALL·E 則更多地生成具體的物體，例如一把椅子或者一個鬧鐘等。英偉達聲稱，GauGAN 的第一個版本已經(jīng)被用于為電影和視頻游戲創(chuàng)作概念藝術(shù)。與它一樣，英偉達計劃在 GitHub 上提供 GauGAN2 的代碼，同時在 Playground 上提供交互式演示，Playground 是英偉達人工智能和深度學(xué)習(xí)研究的網(wǎng)絡(luò)中心。像 GauGAN2 這樣的生成模型的一個缺點是存在偏差的可能性。例如在 DALL-E 的案例中，OpenAI 使用了一種 CLIP 模型來提高生成圖像質(zhì)量，但在一項研究中發(fā)現(xiàn)，CLIP 對黑人照片的錯誤分類率更高，并且存在種族和性別偏見問題。英偉達暫不會對 GauGAN2 是否存在偏見給出回應(yīng)。英偉達發(fā)言人表示：“該模型有超過 1 億個參數(shù)，訓(xùn)練時間不到一個月（還在 demo 階段），訓(xùn)練圖像來自專有的風(fēng)景圖像數(shù)據(jù)集。因此 GauGAN2 只專注于風(fēng)景，研究團隊還對圖像進行審核以確保圖片中沒有包含人的場景?！边@將有助于減少 GauGAN2 的偏見。目前，GauGAN2 已經(jīng)可以試完，有使用過或是想要去體驗的可以在留言區(qū)談?wù)擉w驗感受呦~

本站聲明：本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除。

換一批

跑分幀數(shù)均翻數(shù)倍，GeForce RTX 4090性價比如何

據(jù)悉，英偉達GeForce RTX 4090系列顯卡于10月15日正式線下開售，近日業(yè)內(nèi)相關(guān)的媒體對其進行了性能測試對比，結(jié)果發(fā)現(xiàn)無論是壓力測試、跑分還是幀數(shù)相比以往的旗艦系列均得到極大提升。

關(guān)鍵字：英偉達 GeForce RTX 4090

[芯鮮事]

英偉達突然取消RTX 4080 12GB顯卡發(fā)售，只因老黃犯了一個錯？

自從上個月RTX 4080 12GB版發(fā)布之后，這個型號的顯卡就受到了很多網(wǎng)友的質(zhì)疑，認為英偉達將其歸為“80系”就是為了賣高價。在收到大量玩家的批評與不滿后，英偉達突然宣布取消發(fā)售RTX 4080 12GB版顯卡。

關(guān)鍵字：英偉達顯卡

[消費電子]

改變芯片制造行業(yè)的游戲規(guī)則，目前全球最頂尖的芯片工藝確實離不開臺積電

10 月 2 日消息，亞洲科技出版社表示，芯片大廠英偉達打算與蘋果公司做同樣的事情，他們拒絕了臺積電 2023 年的漲價計劃。

關(guān)鍵字：蘋果英偉達臺積電

[消費電子]

芯片代工價格多次上漲，漲幅在10%到20%不等，多家代工廠宣布多輪漲價

于是眾多的媒體和機構(gòu)就表示，整個晶圓市場，接下來可能會面臨產(chǎn)能過剩的風(fēng)險，分析機構(gòu)Future Horizons甚至認為明年芯片產(chǎn)業(yè)至少下行25%。

關(guān)鍵字：蘋果英偉達臺積電

[openIC]

英偉達收購ARM遇阻，遭高通、谷歌、微軟高通聯(lián)合抵制

科技公司們認為，收購將使英偉達控制一個重要的供應(yīng)商，該供應(yīng)商向蘋果、英特爾、三星電子、亞馬遜和華為等公司授權(quán)基本的芯片技術(shù)，同時也向不計其數(shù)的中小技術(shù)企業(yè)提供授權(quán)?？偛课挥谟腁RM公司將芯片設(shè)計和相關(guān)軟件代碼授權(quán)給所...

關(guān)鍵字：英偉達 ARM 半導(dǎo)體公司

[openIC]