[導(dǎo)讀]整理?|禾木木出品|?AI科技大本營(ID:rgznai100)英偉達又一次突破了,這么逼真的照片竟然不是來自攝影師或是設(shè)計師!近日,英偉達官方推出GauGAN2的人工智能系統(tǒng),它是其GauGAN模型的繼承者,它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像,還能實時用文字P圖!GauGAN2...
整理 | 禾木木出品 | AI科技大本營(ID:rgznai100)英偉達又一次突破了,這么逼真的照片竟然不是來自攝影師或是設(shè)計師!
近日,英偉達官方推出 GauGAN2 的人工智能系統(tǒng),它是其 GauGAN 模型的繼承者,它不僅能根據(jù)字詞生成逼真的風(fēng)景圖像,還能實時用文字P圖!GauGAN2 將分割映射、修復(fù)和文本到圖像生成等技術(shù)結(jié)合在一個工具中,通過輸入文字和簡單的繪圖來創(chuàng)建逼真的圖像。Isha Salian 表示“與類似的圖像生成模型相比,GauGAN2 的神經(jīng)網(wǎng)絡(luò)能夠產(chǎn)生更多種類和更高質(zhì)量的圖像?!?/span>英偉達的企業(yè)傳播團隊在一篇博客文章中寫道。“用戶無需繪制想象場景的每個元素,只需輸入一個簡短的短語即可快速生成圖像的關(guān)鍵特征和主題,例如雪山山脈。然后可以用草圖定制這個起點,使特定的山更高,或在前景中添加幾棵樹,或在天空中添加云彩?!?/span>例如輸入海浪打在巖石上,模型會根據(jù)生成的內(nèi)容逐漸進行相應(yīng)的調(diào)整,以生成與描述匹配的逼真圖像。
GauGAN2 的生成模式
GauGAN2 有三種繪制模式,可以從不同的輸入生成逼真的圖像。模式1:用涂鴉生成風(fēng)景照
模式2:輸入文本生成圖片
這種輸入文本生成匹配圖像的模式也是 GauGAN2 主要的創(chuàng)新,生成的圖像會根據(jù)逐漸輸入的文本不斷發(fā)生變化,最終生成和文本匹配最佳的圖像。例如在下圖的示例中,文本首先輸入 sunshine(陽光),生成的圖像中就只出現(xiàn)了一個太陽;之后繼續(xù)輸入 a tall tree(高樹),圖像中就出現(xiàn)了樹(且為頂部樹枝,匹配高樹);最后,輸入的全部文本是 sunshine in a tall tree forest ,意為透過森林的陽光,GauGAN2 最終生成的圖像與之相匹配:
模式 3:輸入圖像并編輯部分內(nèi)容如果想要抹掉移除的內(nèi)容,在生成的圖像中會保留剩余的部分,并自動補全出多種新的完整圖像:
這三種模式也可以混合疊加使用,例如在用涂鴉繪畫等生成圖像后,輸入文本進行相應(yīng)的修改,在下圖中就生成了一座浮在空中的城堡就出現(xiàn)了。
像像外媒ZDNet就惡搞出來了一種神奇的玩法,在已有的風(fēng)景上畫個人頭—,畫人頭:
在生成這一系列逼真的圖像背后用了什么原理呢?
如何實現(xiàn)?
從 2019 年開始,英偉達改進 GauGAN 系統(tǒng),該系統(tǒng)由超過一百萬個公共 Flickr 圖像的訓(xùn)練而成。與 GauGAN 一樣,GauGAN2 可以理解雪、樹、水、花、灌木、丘陵和山脈等物體之間的關(guān)系,例如降水類型隨季節(jié)而變化的事實。GauGAN2 是一種稱為生成對抗網(wǎng)絡(luò) (GAN) 的系統(tǒng),由生成器和判別器組成。生成器用于獲取樣本,例如獲取與文本配對的圖像,并預(yù)測哪些數(shù)據(jù)(單詞)對應(yīng)于其他數(shù)據(jù)(風(fēng)景圖片的元素)。生成器試圖通過欺騙鑒別器來進行訓(xùn)練,鑒別器則用于評估預(yù)測結(jié)果是否現(xiàn)實。雖然 GAN 的轉(zhuǎn)換最初的質(zhì)量很差,但隨著鑒別器的反饋二不斷改善。與 GauGAN 不同的是,GauGAN2 是在 1000 萬張圖像上訓(xùn)練而成——可以將自然語言描述成風(fēng)景圖像。輸入諸如“海灘日落”之類的短語會生成場景,而添加諸如“巖石海灘日落”之類的形容詞或?qū)ⅰ叭章洹碧鎿Q為“下午”或“下雨天”等形容詞會立即修改畫面。GauGAN2 用戶可以生成分割圖,顯示場景中對象位置的高級輪廓。從那里,他們可以切換到繪圖,使用“天空”、“樹”、“巖石”和“河流”等標簽通過粗略的草圖調(diào)整場景,并允許工具的畫筆將涂鴉融入圖像。這是屬于更新迭代的過程,用戶在文本框中鍵入的每個詞都會為 AI 創(chuàng)建的圖像添加更多內(nèi)容,因而 GauGAN2 才能隨著輸入文本而不斷變換圖像。
結(jié)語
GauGAN2 與 OpenAI 的 DALL-E 沒有什么不同。不過,這兩個模型生成的內(nèi)容其實不太一樣。GauGAN2 專注于生成風(fēng)景照,DALL·E 則更多地生成具體的物體,例如一把椅子或者一個鬧鐘等。英偉達聲稱,GauGAN 的第一個版本已經(jīng)被用于為電影和視頻游戲創(chuàng)作概念藝術(shù)。與它一樣,英偉達 計劃在 GitHub 上提供 GauGAN2 的代碼,同時在 Playground 上提供交互式演示,Playground 是 英偉達人工智能和深度學(xué)習(xí)研究的網(wǎng)絡(luò)中心。像 GauGAN2 這樣的生成模型的一個缺點是存在偏差的可能性。例如在 DALL-E 的案例中,OpenAI 使用了一種 CLIP 模型來提高生成圖像質(zhì)量,但在一項研究中發(fā)現(xiàn),CLIP 對黑人照片的錯誤分類率更高,并且存在種族和性別偏見問題。英偉達暫不會對 GauGAN2 是否存在偏見給出回應(yīng)。英偉達發(fā)言人表示:“該模型有超過 1 億個參數(shù),訓(xùn)練時間不到一個月(還在 demo 階段),訓(xùn)練圖像來自專有的風(fēng)景圖像數(shù)據(jù)集。因此 GauGAN2 只專注于風(fēng)景,研究團隊還對圖像進行審核以確保圖片中沒有包含人的場景?!边@將有助于減少 GauGAN2 的偏見。目前,GauGAN2 已經(jīng)可以試完,有使用過或是想要去體驗的可以在留言區(qū)談?wù)擉w驗感受呦~
本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
據(jù)悉,英偉達GeForce RTX 4090系列顯卡于10月15日正式線下開售,近日業(yè)內(nèi)相關(guān)的媒體對其進行了性能測試對比,結(jié)果發(fā)現(xiàn)無論是壓力測試、跑分還是幀數(shù)相比以往的旗艦系列均得到極大提升。
關(guān)鍵字:
英偉達
GeForce RTX 4090
自從上個月RTX 4080 12GB版發(fā)布之后,這個型號的顯卡就受到了很多網(wǎng)友的質(zhì)疑,認為英偉達將其歸為“80系”就是為了賣高價。在收到大量玩家的批評與不滿后,英偉達突然宣布取消發(fā)售RTX 4080 12GB版顯卡。
關(guān)鍵字:
英偉達
顯卡
10 月 2 日消息,亞洲科技出版社表示,芯片大廠英偉達打算與蘋果公司做同樣的事情,他們拒絕了臺積電 2023 年的漲價計劃。
關(guān)鍵字:
蘋果
英偉達
臺積電
于是眾多的媒體和機構(gòu)就表示,整個晶圓市場,接下來可能會面臨產(chǎn)能過剩的風(fēng)險,分析機構(gòu)Future Horizons甚至認為明年芯片產(chǎn)業(yè)至少下行25%。
關(guān)鍵字:
蘋果
英偉達
臺積電
科技公司們認為,收購將使英偉達控制一個重要的供應(yīng)商,該供應(yīng)商向蘋果、英特爾、三星電子、亞馬遜和華為等公司授權(quán)基本的芯片技術(shù),同時也向不計其數(shù)的中小技術(shù)企業(yè)提供授權(quán)??偛课挥谟腁RM公司將芯片設(shè)計和相關(guān)軟件代碼授權(quán)給所...
關(guān)鍵字:
英偉達
ARM
半導(dǎo)體公司
在去年九月,英偉達宣布以400億美金收購ARM時,就注定這場收購不會太順利。因為一旦ARM成功被英偉達收購,這將使ARM改變在全球半導(dǎo)體市場中的中立立場,因為ARM的很多客戶,都是英偉達的直接或者間接的對手。除此之外,還...
關(guān)鍵字:
英偉達
ARM
半導(dǎo)體
當(dāng)?shù)貢r間9月20日晚間,英偉在2022秋季GTC大會上發(fā)布車載芯片Thor,單顆算力達到2000TFLOPS。此前,英偉達曾發(fā)布自動駕駛芯片Altan,單顆算力為1000TFLOPS,原本預(yù)定2024年上市。在推出Tho...
關(guān)鍵字:
英偉達
Thor芯片
特斯拉
英偉達放棄收購軟銀集團(SoftBank Group)旗下ARM之后,各方勢力再次粉墨登場,開啟新一輪的爭奪。9月21日,據(jù)韓國媒體EDAILY報道,三星掌門人李在镕獲得特赦之后,開啟歐洲行程并出現(xiàn)在英國。而ARM恰好是...
關(guān)鍵字:
三星
ARM
英偉達
9 月 21 日消息,據(jù)媒體報道,英偉達 2020 年 9 月 13 日宣布的 400 億美元收購 Arm 的交易,由于在監(jiān)管方面面臨重大挑戰(zhàn),最終以失敗告終,英偉達和 Arm 的擁有者軟銀集團,在今年 2 月 14 日...
關(guān)鍵字:
ARM
英偉達
軟銀集團
美國對中國芯片技術(shù)的一系列圍追堵截政策,正在反噬美本土芯片企業(yè)。據(jù)彭博社報道,拜登政府計劃對中國實施更廣泛的芯片技術(shù)限制,可能會對向中國出口人工智能芯片與芯片制造設(shè)備的企業(yè)設(shè)置更多條件,這使得美國的芯片企業(yè)備受壓力。
關(guān)鍵字:
華盛頓
英偉達
芯片限制
據(jù)業(yè)內(nèi)消息,昨天英偉達CEO黃仁勛在GTC 2022發(fā)表演講,老黃表示Ada Lovelace正在為未來虛擬世界鋪路,隨即宣布了英偉達正式推出基于Ada Lovelace架構(gòu)的GPU GeForce RTX 4090和1...
關(guān)鍵字:
英偉達
Ada
黃仁勛
RTX 4090
據(jù)業(yè)內(nèi)消息,英偉達近日發(fā)布了全新一代整車級車載芯片方案Drive Thor(計算平臺),英偉達表示Drive Thor可以統(tǒng)一包括自動/輔助駕駛以及車載娛樂功能等在內(nèi)的所有汽車數(shù)字功能的實現(xiàn),駕駛員甚至可以用人工智能為后...
關(guān)鍵字:
英偉達
車載芯片
Drive Thor
極氪
NVIDIA GeForce RTX 3060 顯卡是NVIDIA公司生產(chǎn)的顯卡。GeForce RTX? 30 系列 GPU 強勁的性能滿足玩家和設(shè)計者。產(chǎn)品采用第 2 代 NVIDIA RTX 架構(gòu) - NVIDIA...
關(guān)鍵字:
英偉達
RTX 3060
8GB
除了收購 Linutronix 這個以實時 (RT) 內(nèi)核補丁和其他貢獻而聞名的公司,以及在 6 月收購 Codeplay Software 之外,英特爾今天還收購了另一支開發(fā)團隊 ——ArrayFire,進一步推進他們...
關(guān)鍵字:
英特爾
英偉達
GPU
半導(dǎo)體行業(yè)的納米技術(shù)目前競爭十分激烈,雖然行業(yè)處于絕對的壟斷,但是幾家目標公司競爭也十分殘酷。其中老大哥臺積電目前占據(jù)行業(yè)內(nèi)絕對優(yōu)勢。
關(guān)鍵字:
臺積電
英偉達
AMD
芯片
根據(jù)目前車載芯片市場情況來看,無論在技術(shù)先進性、性能指標,還是量產(chǎn)交付能力方面,英偉達Orin芯片是近乎壟斷的,而隨著大國之間的競爭和對半導(dǎo)體行業(yè)的限制,未來有可能將會對中國新能源汽車市場帶來沖擊。
關(guān)鍵字:
英偉達
車載芯片
據(jù)報道,美國當(dāng)?shù)刂莞賳T透露,臺積電美國工廠的主要建設(shè)工作已經(jīng)完成。實際上,早先上梁典禮的舉辦就意味著工廠的基礎(chǔ)設(shè)施差不多完工,后面就是要安裝設(shè)備、調(diào)試了。
關(guān)鍵字:
臺積電
英偉達
AMD
芯片
據(jù)報道,近日美國政府要求兩家美國芯片設(shè)計公司停止向中國出售頂級計算機芯片。
關(guān)鍵字:
英偉達
AMD
英特爾
據(jù)悉,臺積電2nm技術(shù)和3nm技術(shù)相比,功效大幅往前推進,在相同功耗下,速度增快10~15%,而在相同速度下,功耗則能夠降低25~30%。?
關(guān)鍵字:
臺積電
英偉達
AMD
芯片