最佳設(shè)計(jì)的企業(yè)架構(gòu)是任何組織 IT 系統(tǒng)的支柱，它支持實(shí)現(xiàn)組織業(yè)務(wù)目標(biāo)的基礎(chǔ)構(gòu)建塊。架構(gòu)包括最佳實(shí)踐、明確概述的策略、通用框架和指導(dǎo)方針，供工程團(tuán)隊(duì)和其他利益相關(guān)者選擇正確的工具來完成任務(wù)。企業(yè)架構(gòu)主要由支持業(yè)務(wù)線的架構(gòu)團(tuán)隊(duì)管理。在大多數(shù)組織中，架構(gòu)團(tuán)隊(duì)負(fù)責(zé)概述架構(gòu)模式和通用框架，這將有助于工程和產(chǎn)品團(tuán)隊(duì)不必花費(fèi)數(shù)小時(shí)的精力進(jìn)行概念驗(yàn)證，而是幫助他們采用基于模式設(shè)計(jì)核心構(gòu)建塊的策略。

由于生成式 AI正在改變整個(gè)格局，大多數(shù)組織要么正在構(gòu)建基于生成式 AI 的應(yīng)用程序，要么正在將生成式 AI 功能或特性集成到其現(xiàn)有應(yīng)用程序或產(chǎn)品中。在本文中，我們將深入探討可用于構(gòu)建生成式 AI 解決方案的常見架構(gòu)模式。我們還將討論各種企業(yè)級(jí)策略，以根據(jù)正確的用例選擇正確的框架。

模式 1：領(lǐng)域特定微調(diào)(DSFT)

大型語言模型 (LLM)在企業(yè)生成式 AI 架構(gòu)中扮演著重要的構(gòu)建塊。LLM 負(fù)責(zé)根據(jù)其接受的訓(xùn)練和所掌握的知識(shí)生成獨(dú)特的內(nèi)容。但是，OpenAI、Microsoft 或開源社區(qū)等供應(yīng)商提供的 LLM 缺乏企業(yè)數(shù)據(jù)知識(shí)。有時(shí)在組織中，他們有自己的標(biāo)準(zhǔn)和原則，在生成內(nèi)容時(shí)也應(yīng)遵循這些標(biāo)準(zhǔn)和原則。

為了解決此領(lǐng)域的用例，微調(diào)是我們可以利用的策略之一。微調(diào)涉及在較小的專業(yè)數(shù)據(jù)集上進(jìn)一步訓(xùn)練預(yù)先訓(xùn)練的 LLM，該數(shù)據(jù)集經(jīng)過精心挑選，具有企業(yè)獨(dú)特的數(shù)據(jù)、標(biāo)準(zhǔn)和原則。此過程有助于定制模型的輸出，使其更符合組織的要求，從而提高其在企業(yè)環(huán)境中的適用性和有效性。

什么是特定領(lǐng)域微調(diào)?

正如剛才所述，微調(diào)大型語言模型 (LLM) 涉及調(diào)整預(yù)先訓(xùn)練的語言模型，使其在特定任務(wù)或領(lǐng)域表現(xiàn)更好。這是通過使用由成對(duì)數(shù)據(jù)組成的較小、專門的數(shù)據(jù)集進(jìn)一步訓(xùn)練模型來實(shí)現(xiàn)的<INPUT, output>。這些成對(duì)數(shù)據(jù)是顯示所需行為或輸出的示例。

在微調(diào)過程中，模型的參數(shù)會(huì)進(jìn)行更新，這有助于縮小預(yù)訓(xùn)練模型的一般能力與任務(wù)的特定需求之間的差距。此過程可提高模型的性能，使其更加準(zhǔn)確并符合人類對(duì)給定任務(wù)的期望。

DSFT 模式可作為最佳候選的用例

在組織尋求更專業(yè)和更特定領(lǐng)域的內(nèi)容生成時(shí)，微調(diào)會(huì)發(fā)揮出色作用。如果用例要求在生成內(nèi)容時(shí)遵循特定的標(biāo)準(zhǔn)和風(fēng)格，那么“微調(diào)”就是工具箱中的絕佳工具。

例如，假設(shè)客戶服務(wù)部門想要開發(fā)一個(gè)自動(dòng)化工作流解決方案來取代手動(dòng)流程。在手動(dòng)流程中，現(xiàn)場(chǎng)客戶服務(wù)代理將回復(fù)其客戶或潛在客戶對(duì)其產(chǎn)品或服務(wù)的查詢。目前，現(xiàn)場(chǎng)客戶服務(wù)代理會(huì)回復(fù)客戶或潛在客戶對(duì)產(chǎn)品或服務(wù)的詢問。代理需要了解客戶電子郵件的意圖和含義，做一些研究，然后在回復(fù)時(shí)遵循公司指南。這個(gè)過程通常需要代理 2 到 3 個(gè)小時(shí)，并且組織會(huì)收到大量詢問其產(chǎn)品的客戶電子郵件。

通過微調(diào)，組織可以訓(xùn)練 AI 模型，使其能夠按照公司的標(biāo)準(zhǔn)和準(zhǔn)則自動(dòng)理解和響應(yīng)這些詢問。這可以節(jié)省大量時(shí)間，并確保響應(yīng)一致且準(zhǔn)確。

微調(diào)通常分為以下幾種：

· 監(jiān)督微調(diào)(SFT)

· 通過人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)(RLHF)

· 參數(shù)有效微調(diào)(PEFT)

o 低秩自適應(yīng)(LoRA)

o 量化低秩自適應(yīng)(QLoRA)

企業(yè)戰(zhàn)略微調(diào)模式

如果我們計(jì)劃使用這種模式來構(gòu)建下一個(gè)生成式 AI 應(yīng)用程序，那么唯一的缺陷是，盡管這種模式可以產(chǎn)生幾乎完美和高質(zhì)量的輸出，但它是一種耗時(shí)且昂貴的模式。它很耗時(shí)，因?yàn)樾枰褂蒙鲜鋈魏我环N方法重新訓(xùn)練 LLM，這需要準(zhǔn)備數(shù)據(jù)集、訓(xùn)練語料庫(kù)和人工標(biāo)注員。如果組織的數(shù)據(jù)是動(dòng)態(tài)的并且經(jīng)常更新，那么這種模式是不可取的，因?yàn)槊看螖?shù)據(jù)發(fā)生變化時(shí)，LLM 都需要重新訓(xùn)練，這將成為一個(gè)昂貴的解決方案。如果數(shù)據(jù)本質(zhì)上不是很動(dòng)態(tài)，并且我們希望 LLM 產(chǎn)生高質(zhì)量的特定領(lǐng)域輸出，那么微調(diào)是最好的方法。

模式2：RAG(檢索增強(qiáng)生成)

RAG 或檢索增強(qiáng)生成是幾乎所有企業(yè)生成式 AI 開發(fā)中使用的流行模式之一，因?yàn)檫@是最具成本效益的模式之一，可為構(gòu)建 Gen AI 應(yīng)用程序節(jié)省大量開發(fā)工作。 RAG 的基本結(jié)構(gòu)可以概括如下：

· R —— (R)根據(jù)相似性搜索算法檢索上下文。

· A - (A)增強(qiáng)檢索到的上下文以及 LLM 的指令(提示工程)，說明根據(jù)我們提供的上下文生成什么內(nèi)容。

· G - LLM 將根據(jù)上下文和指令(提示工程)生成內(nèi)容并將生成的響應(yīng)發(fā)送給用戶。

在 RAG 模式中，我們集成了一個(gè)可以存儲(chǔ)和索引嵌入(數(shù)字內(nèi)容的數(shù)字表示)的矢量數(shù)據(jù)庫(kù)。我們使用各種搜索算法(如 HNSW 或 IVF)來檢索前k 個(gè)結(jié)果，然后將其用作輸入上下文。搜索是通過將用戶的查詢轉(zhuǎn)換為嵌入來執(zhí)行的。前k 個(gè)結(jié)果被添加到一個(gè)結(jié)構(gòu)良好的提示中，該提示指導(dǎo) LLM 生成什么以及它應(yīng)該遵循的步驟，以及它應(yīng)該考慮哪些上下文或數(shù)據(jù)。

一旦 LLM 根據(jù)提示和輸入上下文生成內(nèi)容，它就會(huì)經(jīng)過臟話檢查(可選)或?qū)徍藢?。然后，?jīng)過驗(yàn)證的響應(yīng)將以人類可理解的格式呈現(xiàn)給用戶。

“RAG”模式最適合的用例

當(dāng)我們需要 LLM 根據(jù)組織特定數(shù)據(jù)生成內(nèi)容時(shí)，RAG 是一種易于構(gòu)建且經(jīng)濟(jì)高效的解決方案。由于 LLM 未使用組織的私有數(shù)據(jù)進(jìn)行訓(xùn)練，并且訓(xùn)練需要大量時(shí)間，因此我們利用 RAG 模式構(gòu)建 Gen AI 應(yīng)用程序。

基于人工智能的智能企業(yè)搜索、虛擬助手或聊天機(jī)器人可以幫助客戶理解復(fù)雜的文檔、人力資源聊天機(jī)器人、推薦引擎以及需要快速了解程序以更好地協(xié)助客戶的客戶服務(wù)代理，這些都是 RAG 的完美用例。

一些流行的基于企業(yè)的用例是：

· 通過員工培訓(xùn)和入職培訓(xùn)為人力資源提供支持： RAG 模式可用于構(gòu)建人力資源支持應(yīng)用程序，該應(yīng)用程序?qū)⑻峁┒ㄖ频呐嘤?xùn)材料并回答特定問題，以促進(jìn)順利的入職流程，從而讓人力資源部門有時(shí)間專注于其他領(lǐng)域。

· 醫(yī)療保健行業(yè)：基于 RAG 的生成式 AI 應(yīng)用程序可以為醫(yī)療專業(yè)人員提供有關(guān)各種治療方案和醫(yī)學(xué)研究的信息，以便更好地護(hù)理患者。

· 企業(yè)知識(shí)挖掘和管理系統(tǒng)： RAG 可用于構(gòu)建產(chǎn)品，幫助員工從龐大的內(nèi)部?jī)?nèi)容存儲(chǔ)庫(kù)中查找和檢索相關(guān)的組織特定信息。

· 銷售和營(yíng)銷應(yīng)用： 使用 RAG，可以輕松構(gòu)建個(gè)性化的產(chǎn)品推薦并生成營(yíng)銷活動(dòng)或產(chǎn)品相關(guān)數(shù)據(jù)的內(nèi)容。

· 技術(shù)支持應(yīng)用程序： 基于 Gen-AI 的應(yīng)用程序可以總結(jié)故障排除步驟和相關(guān)技術(shù)文檔，以便客戶服務(wù)代理更快地解決問題。

RAG 的企業(yè)戰(zhàn)略

當(dāng)數(shù)據(jù)源本質(zhì)上是動(dòng)態(tài)的(這意味著我們期望數(shù)據(jù)經(jīng)常更新)時(shí)，RAG(檢索增強(qiáng)生成)是一種理想的解決方案。RAG 在數(shù)據(jù)經(jīng)常變化的環(huán)境中表現(xiàn)更好，因?yàn)樗试S實(shí)時(shí)更新并確保檢索到的信息始終與變化同步。使用 RAG，每次更新數(shù)據(jù)源時(shí)，矢量數(shù)據(jù)庫(kù)中的嵌入也必須在數(shù)據(jù)提取期間更新，以準(zhǔn)確反映這些變化。

大多數(shù)企業(yè) RAG 應(yīng)用程序在其架構(gòu)中具有以下兩個(gè)主要工作流程：

1. 數(shù)據(jù)處理和提取

此工作流程涉及以嵌入的形式將源數(shù)據(jù)提取、轉(zhuǎn)換和加載 (ETL) 到矢量數(shù)據(jù)庫(kù)中。當(dāng)添加新數(shù)據(jù)或修改現(xiàn)有數(shù)據(jù)時(shí)，系統(tǒng)會(huì)處理這些更改，生成新嵌入并更新矢量數(shù)據(jù)庫(kù)。這可確保我們的矢量數(shù)據(jù)庫(kù)與最新信息保持同步。只要數(shù)據(jù)源發(fā)生變化，就會(huì)觸發(fā)此工作流程。這使 AI 系統(tǒng)能夠快速適應(yīng)新信息或現(xiàn)有信息的變化。

2. 通過相似性搜索進(jìn)行檢索

在此工作流程中，當(dāng)收到用戶查詢時(shí)，系統(tǒng)會(huì)將查詢轉(zhuǎn)換為嵌入，并根據(jù) ANN、KNN 或其他算法針對(duì)更新的向量數(shù)據(jù)庫(kù)執(zhí)行相似性搜索。檢索前k 個(gè)結(jié)果并將其用作使用 LLM 生成響應(yīng)的上下文。這可確保所提供的信息具有相關(guān)性且基于最新數(shù)據(jù)。

當(dāng)數(shù)據(jù)源發(fā)生任何變化時(shí)，只會(huì)觸發(fā)數(shù)據(jù)處理和攝取工作流，從而同步變化并更新矢量數(shù)據(jù)庫(kù)。通過在 RAG 架構(gòu)中實(shí)現(xiàn)變化檢測(cè)機(jī)制，系統(tǒng)可以無縫同步更新。這確保檢索過程始終使用最新數(shù)據(jù)，而無需徹底檢修整個(gè)系統(tǒng)。

RAG 模式為企業(yè)帶來了巨大好處，因?yàn)樗鼘?shù)據(jù)同步與數(shù)據(jù)檢索分開。這種分離意味著可以高效處理數(shù)據(jù)源的更新，而不會(huì)中斷檢索過程，并且不會(huì)對(duì)用戶造成任何停機(jī)時(shí)間。這種模塊化架構(gòu)模式具有可擴(kuò)展性和靈活性。這使得它更容易適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)量和不斷變化的需求。

這種方法不僅經(jīng)濟(jì)高效，而且可以縮短構(gòu)建時(shí)間，因此對(duì)于需要從動(dòng)態(tài)數(shù)據(jù)源獲取最新和準(zhǔn)確信息的企業(yè)來說，這是一種有效的選擇。這種架構(gòu)模式可幫助工程和產(chǎn)品團(tuán)隊(duì)快速集成新數(shù)據(jù)并將其同步到 AI 系統(tǒng)。因此，對(duì)于頻繁變化的數(shù)據(jù)源，始終建議采用基于 RAG 的方法，而不是微調(diào)方法來提供決策和運(yùn)營(yíng)效率可能需要的及時(shí)和相關(guān)信息。

模式3：RA-FT(檢索增強(qiáng)-微調(diào))

RA-FT 已得到 Meta、微軟和加州大學(xué)伯克利分校研究人員的大力推廣。該團(tuán)隊(duì)最近發(fā)表的一篇論文提出了一種新框架，以解決通用 RAG 框架和領(lǐng)域特定微調(diào) (DSFT) 方法的局限性。

為了解釋該框架，研究人員將 RAG 方法與“開卷考試”進(jìn)行了比較，將 Fine Tuning 與“閉卷考試”進(jìn)行了比較。

RAG 的局限性

在 RAG 中，上下文是通過對(duì)索引進(jìn)行基于向量的相似性搜索形成的。此搜索可能會(huì)帶來語義上接近查詢但不一定有意義的文檔(或塊)，導(dǎo)致 LLM 難以生成連貫且有意義的答案。LLM 不知道哪些文檔真正相關(guān)，哪些文檔具有誤導(dǎo)性。即使這些“干擾性”文檔不是合理答案的良好來源，它們也可能包含在 LLM 的上下文中。

DSFT 的局限性

研究人員還認(rèn)為，采用 DSFT 方法，LLM 只能局限于它所訓(xùn)練的內(nèi)容。它可以進(jìn)行猜測(cè)，甚至給出錯(cuò)誤答案，因?yàn)樗鼰o法從外部來源獲取準(zhǔn)確信息。

RA-FT 如何解決 DSFT 和 RAG 模式的局限性?

為了解決 DSFT 和基本 RAG 的局限性，RA-FT 框架以一種新的方式結(jié)合了 RAG 和微調(diào)方法。在 RA-FT 方法中，LLM 經(jīng)過訓(xùn)練，變得足夠智能，可以從使用相似性搜索作為檢索過程的一部分生成的上下文中挑選出最有用和最相關(guān)的文檔。

使用 RA-FT，當(dāng)模型被賦予一個(gè)問題和一批檢索到的文檔時(shí)，它會(huì)被教導(dǎo)忽略那些對(duì)回答問題沒有幫助的文檔。由于在微調(diào)過程中進(jìn)行了訓(xùn)練，LLM 學(xué)會(huì)了如何識(shí)別“干擾”文檔，并僅使用有用和非干擾文檔(或塊)來為用戶的查詢生成連貫的答案。

在 RA-FT 中，訓(xùn)練數(shù)據(jù)經(jīng)過準(zhǔn)備，每個(gè)數(shù)據(jù)點(diǎn)都包含一個(gè)問題、一組上下文相關(guān)的文檔以及相應(yīng)的思路式答案。RA-FT 將微調(diào)與由問答對(duì)組成的訓(xùn)練集相結(jié)合，使用模擬不完美檢索場(chǎng)景中的文檔。這種方法有效地為 LLM 做好了開卷考試的準(zhǔn)備。RA-FT 是一種調(diào)整 LLM 的方法，使其能夠從相關(guān)和不相關(guān)的文檔組合中讀取和得出解決方案。

RA-FT模式的企業(yè)戰(zhàn)略

由于 RAFT 包含 RAG 和微調(diào)方法，因此成本甚至高于 DSFT 方法。但是，結(jié)果令人印象深刻，這意味著該技術(shù)適用于提供高質(zhì)量輸出以及扎實(shí)數(shù)據(jù)和來源是基本要求的用例。當(dāng)您可能希望從向量相似性搜索中獲得混合結(jié)果(既有相關(guān)文檔/塊也有干擾文檔/塊)并且您不想根據(jù)干擾文檔/塊或無用文檔/塊生成或制定 LLM 響應(yīng)時(shí)，此方法將產(chǎn)生最佳結(jié)果。對(duì)于受到嚴(yán)格監(jiān)管的行業(yè)，將此解決方案整合到現(xiàn)有的 Gen AI 生態(tài)系統(tǒng)中將是有益的。

模式4：知識(shí)圖譜/RAG圖譜

眾所周知，基于 RAG 和 RAFT 的基本方法都嚴(yán)重依賴于底層矢量數(shù)據(jù)庫(kù)以及它用來檢索分塊數(shù)據(jù)集的各種相似性算法(A-NN 或 K-NN)，這些數(shù)據(jù)集將用作 LLM 制定響應(yīng)的上下文。但是，這種方法最大的問題是，當(dāng)具有上下文意義的大段落被分成小塊時(shí)，它會(huì)失去內(nèi)在含義和關(guān)系。因此，在執(zhí)行相似性搜索時(shí)，它只會(huì)根據(jù)相關(guān)性選擇文檔(或塊)中單詞彼此接近的結(jié)果集。通用 RAG 方法主要依賴于基于向量的檢索，在為用戶生成響應(yīng)時(shí)面臨一些限制，例如缺乏深度上下文理解和復(fù)雜推理能力。

為了解決這一不足，知識(shí)圖譜數(shù)據(jù)庫(kù)已成為另一個(gè)不可或缺的組件，可以插入現(xiàn)有的 RAG 系統(tǒng)，以便您的生成式 AI 應(yīng)用程序在幫助用戶回答問題的同時(shí)變得更加智能。這種技術(shù)稱為 GraphRAG，其中一種稱為知識(shí)圖譜數(shù)據(jù)庫(kù)的不同類型的數(shù)據(jù)庫(kù)被添加到系統(tǒng)中，當(dāng) RAG 的相似性搜索未產(chǎn)生正確響應(yīng)時(shí)，它有助于根據(jù)外部域特定數(shù)據(jù)協(xié)助生成內(nèi)容。

GraphRAG 如何工作?

GraphRAG 是一種高級(jí) RAG 方法，它使用圖形數(shù)據(jù)庫(kù)來檢索特定任務(wù)的信息。與將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在具有行和列的表中的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)不同，圖形數(shù)據(jù)庫(kù)使用節(jié)點(diǎn)、邊和屬性來表示和存儲(chǔ)數(shù)據(jù)。此方法提供了一種更直觀、更高效的方式來建模、查看和查詢復(fù)雜系統(tǒng)。GraphRAG 使用基于 LLM 構(gòu)建的知識(shí)圖譜連接內(nèi)容中的概念和實(shí)體。

攝取流程

GraphRAG 利用大型語言模型 (LLM) 從一組文本文檔中自動(dòng)生成詳細(xì)的知識(shí)圖譜。此知識(shí)圖譜通過識(shí)別和連接相關(guān)概念來捕獲數(shù)據(jù)的含義和結(jié)構(gòu)。在索引流程中，系統(tǒng)使用 LLM 從細(xì)粒度文本單元中提取所有實(shí)體、關(guān)系和關(guān)鍵聲明。

它還可以檢測(cè)密切相關(guān)節(jié)點(diǎn)的“社區(qū)”或“集群”，并將它們組織到不同的細(xì)節(jié)層次。這有助于理解數(shù)據(jù)的整體語義結(jié)構(gòu)。

這些基于社區(qū)的摘要提供了整個(gè)數(shù)據(jù)集的全面概述和整篇文章的整體情況。這使系統(tǒng)能夠解決較簡(jiǎn)單的檢索增強(qiáng)生成 (RAG) 方法難以處理的廣泛或復(fù)雜的查詢。

檢索流程

當(dāng)用戶提出問題時(shí)，GraphRAG 會(huì)高效地從知識(shí)圖譜中檢索最相關(guān)的信息。然后，它會(huì)利用這些信息來指導(dǎo)和改進(jìn) LIAM 的響應(yīng)，從而提高答案的準(zhǔn)確性并降低生成不正確或誤導(dǎo)性信息的可能性。

GraphRAG 模式的企業(yè)戰(zhàn)略

與基本 RAG 系統(tǒng)一樣，GraphRAG 也使用專門的數(shù)據(jù)庫(kù)來存儲(chǔ)它在 LLM 的幫助下生成的知識(shí)數(shù)據(jù)。但是，與生成嵌入并將其存儲(chǔ)在矢量數(shù)據(jù)庫(kù)中相比，生成知識(shí)圖譜的成本更高。因此，在基本 RAG 可能難以產(chǎn)生準(zhǔn)確答案的情況下，應(yīng)使用 GraphRAG。

當(dāng)源數(shù)據(jù)高度動(dòng)態(tài)(即頻繁更改)時(shí)，您需要重建語料庫(kù)的圖形并相應(yīng)地更新圖形數(shù)據(jù)庫(kù)。為源數(shù)據(jù)的每次更改重建圖形數(shù)據(jù)庫(kù)可能成本高昂，但對(duì)于保持相同的全面理解卻是必要的。

在企業(yè)環(huán)境中，建議將 GraphRAG 與基本 RAG 集成，以創(chuàng)建更有效的生成式 AI 系統(tǒng)。這樣，如果基本 RAG 無法檢索到所需結(jié)果，系統(tǒng)可以在 GraphRAG 數(shù)據(jù)庫(kù)中搜索上下文并為用戶生成響應(yīng)，而不是在系統(tǒng)具有正確答案和上下文但分散在不同塊或未聚集在一起的文檔中時(shí)產(chǎn)生幻覺或不生成響應(yīng)。將 GraphRAG 與基本 RAG 系統(tǒng)相結(jié)合可以使 AI 應(yīng)用程序更加強(qiáng)大。