最近，在 ChatGPT 和 Bard 等公司的引領(lǐng)下，生成式 AI 掀起了熱潮，企業(yè)越來越多地尋求了解該技術(shù)的用例。現(xiàn)在是圍繞人工智能的力量展開對話的好時機，但生成式人工智能并不是什么新鮮事。十多年來，生成式建模(即生成式 AI)在幕后蓬勃發(fā)展，主要受到三個因素的推動：2015 年的 Tensorflow 和 2016 年的 PyTorch 等開源軟件庫的開發(fā);神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方面的創(chuàng)新;以及圖形處理單元 (GPU) 和張量處理單元 (TPU) 等硬件改進，以促進大規(guī)模神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。

在本文中，我將旨在解釋什么是生成模型、它們?nèi)绾伟l(fā)展到今天的水平以及應(yīng)該如何使用它們，同時也探討它們的局限性。

什么是生成模型，它們從何而來?

生成模型學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，以便能夠采樣或生成在統(tǒng)計上與原始數(shù)據(jù)相似的合成數(shù)據(jù)。這需要一個兩步過程：首先，在大型靜態(tài)數(shù)據(jù)集上訓(xùn)練模型，其次，對模型進行采樣以獲得新的數(shù)據(jù)點。這個兩步過程的好處是，一旦模型經(jīng)過訓(xùn)練，就可以廉價地大規(guī)模生成新數(shù)據(jù)。

雖然早期的生成模型相對簡單，例如隱馬爾可夫模型、樸素貝葉斯或高斯混合模型，但 2010 年左右將 GPU 引入主流機器學(xué)習(xí)使得基于深度神經(jīng)網(wǎng)絡(luò)的更靈活的生成模型成為可能。Deepmind (2010)、Google Brain (2011) 和 Facebook AI Research (2013) 等設(shè)施齊全的新研究實驗室也于此時開始開放，而 OpenAI 則在 2015 年底晚些時候出現(xiàn)，進一步推動了人工智能技術(shù)的發(fā)展。深度學(xué)習(xí)，從而生成建模。在此期間，許多新的架構(gòu)開始出現(xiàn)，例如變分自動編碼器(VAE，2013)和生成對抗網(wǎng)絡(luò)(GAN，2014)，它們在生成圖像方面產(chǎn)生了最先進的結(jié)果。

為了促進這些更復(fù)雜模型的開發(fā)和部署，Google 于 2015 年發(fā)布了開源庫 Tensorflow，緊接著 Facebook 于 2016 年發(fā)布了 PyTorch。這些庫使廣泛的從業(yè)者和研究人員能夠使用深度學(xué)習(xí)，帶動新模式、新應(yīng)用的快速發(fā)展。

其中一個突破性模型是 Transformer——一種于 2017 年出現(xiàn)的深度學(xué)習(xí)模型，現(xiàn)在構(gòu)成了 GPT-4 等所有當(dāng)前最先進語言模型的基礎(chǔ)。次年 2018 年出現(xiàn)的兩個特定的基于 Transformer 的模型是來自 Google 的 BERT(來自 Transformers 的雙向編碼器表示)和來自 OpenAI 的 GPT(生成預(yù)訓(xùn)練 Transformer)。兩者都被設(shè)計為通用語言模型來執(zhí)行各種任務(wù)，從文本分類和情感分析到語言翻譯。受熱力學(xué)啟發(fā)，2019 年出現(xiàn)的另一個突破性模型是用于生成圖像的擴散模型。

迄今為止，擴散模型和變壓器模型是文本到圖像和語言模型的主要方法，分別實現(xiàn)了最先進的結(jié)果。例如，ChatGPT于 2022 年發(fā)布，今年(2023 年)發(fā)布的更先進的 GPT-4 采用了 Transformer 架構(gòu)，而 Stable Diffusion 和 Midjourney 等模型都是基于擴散的模型。在過去的幾年里，生成式人工智能的趨勢是訓(xùn)練越來越大的模型和更多的參數(shù)，以獲得越來越好的結(jié)果。這些工程壯舉，例如 GPT-4 和 Midjourney v5，依賴于改進的硬件、開發(fā)良好的軟件庫和高效的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)(即 Transformer)的組合，并且變得如此受歡迎，部分原因是它們很容易供公眾使用和訪問。

生成模型的應(yīng)用

隨著生成模型開始產(chǎn)生更引人注目的結(jié)果，并通過易于使用的 API 越來越多地向公眾開放，它們變得更適合各種應(yīng)用程序。對于圖像來說，大多數(shù)應(yīng)用程序都圍繞某種形式的內(nèi)容創(chuàng)建和設(shè)計。生成模型應(yīng)用的一個臭名昭著的例子是深度假貨的興起。雖然這在電影和廣告行業(yè)具有潛在的良好用途，但深度造假也可能被惡意地用于傳播錯誤信息。對于 ChatGPT、Bard 和 GPT-4 等語言模型，應(yīng)用程序包括文本摘要、翻譯和補全，這對于營銷內(nèi)容和內(nèi)部通信特別有用。

在技術(shù)方面，Codex 和 GitHub Copilot 等語言模型已成功用于生成可以加快開發(fā)速度并幫助程序員的代碼。當(dāng)然，有效地指導(dǎo)模型是即時工程的藝術(shù)。

需要考慮的挑戰(zhàn)和風(fēng)險

當(dāng)前生成模型的根本風(fēng)險在于它們是輸出不可控的黑盒模型。這個問題可以通過多種不同的方式表現(xiàn)出來，例如：

1. 沒有辦法明確阻止這些模型生成攻擊性或圖形文本和圖像。仍然需要有人參與其中來過濾掉不適當(dāng)?shù)牟牧稀?

2. 生成模型可能會返回大部分訓(xùn)練數(shù)據(jù)，從而導(dǎo)致隱私和版權(quán)問題。這個問題在 Getty Images 最近針對 Stability AI 提起的訴訟中得到了強調(diào)。

3. 從語言模型返回的信息可能不準(zhǔn)確或具有誤導(dǎo)性，因為該模型無法對其自身的輸出進行事實檢查。因此，不應(yīng)依賴這些模型來制作醫(yī)療、財務(wù)或法律事務(wù)等高風(fēng)險情況下的內(nèi)容。此外，對于 GitHub Copilot 等代碼生成工具，在將代碼投入生產(chǎn)之前應(yīng)小心謹(jǐn)慎，因為可能會遺漏邊緣情況或可能破壞生產(chǎn)管道的錯誤。

這些只是使用生成模型的風(fēng)險的幾個例子。為了緩解這些問題，應(yīng)與人類合作使用有效的生成模型來監(jiān)控其輸出并在需要時糾正結(jié)果。

生成式人工智能的未來

可以肯定地說，生成式人工智能的未來將繼續(xù)受到推動其發(fā)展至今的相同力量的推動。硬件和軟件的改進將提高我們能夠訓(xùn)練的模型的能力。架構(gòu)和培訓(xùn)方面的新創(chuàng)新將不可避免地出現(xiàn)，從而導(dǎo)致新的最先進模型的性能飛躍。此外，新機遇也伴隨著新挑戰(zhàn)。版權(quán)和知識產(chǎn)權(quán)法需要進行調(diào)整，隨著人工智能和數(shù)據(jù)法規(guī)的發(fā)展，對于使用哪些數(shù)據(jù)來訓(xùn)練這些模型可能會出現(xiàn)進一步的隱私問題。Deepfake 技術(shù)也將繼續(xù)成熟，允許更先進的方法來傳播錯誤信息和虛假內(nèi)容。盡管存在這些挑戰(zhàn)，生成人工智能的未來仍然光明，