恢復增強一代 RAG已經(jīng)成為一種主要的模式,以消除幻覺和其他影響大型語言模型內(nèi)容生成的不準確。然而,RAP需要圍繞它的正確的數(shù)據(jù)體系結(jié)構(gòu)來有效和高效地擴展。數(shù)據(jù)流方法為向LLMS提供大量不斷豐富、可信的數(shù)據(jù)以產(chǎn)生準確結(jié)果的最佳架構(gòu)奠定了基礎。這種方法還允許數(shù)據(jù)和應用程序團隊獨立工作和規(guī)?；?以加快創(chuàng)新。

基礎性LMS,如GTPT和LMA,接受了大量數(shù)據(jù)的培訓,通常能夠?qū)V泛的主題做出合理的回應,但確實產(chǎn)生了錯誤的內(nèi)容。正如福雷斯特最近指出的那樣,公共LLMS"經(jīng)常產(chǎn)生不相關或完全錯誤的結(jié)果",因為他們的培訓數(shù)據(jù)側(cè)重于公開的互聯(lián)網(wǎng)數(shù)據(jù)。此外,這些基本LMS完全無視鎖定在客戶數(shù)據(jù)庫、企業(yè)資源規(guī)劃系統(tǒng)、企業(yè)維基和其他內(nèi)部數(shù)據(jù)源中的企業(yè)數(shù)據(jù)。必須利用這些隱藏數(shù)據(jù)來提高準確性,并釋放實際業(yè)務價值。

RAG允許數(shù)據(jù)團隊將提示與特定領域的公司數(shù)據(jù)實時化。有了這個額外的上下文,LLS更有可能在數(shù)據(jù)中識別正確的模式,并提供正確的、相關的響應。這對于流行的企業(yè)使用案例(如語義搜索、內(nèi)容生成或復制)至關重要,在這些案例中,輸出必須基于準確的、最新的信息才能是可信的。

為什么不僅僅訓練一個關于公司特定數(shù)據(jù)的LLM呢?

目前生成性人工智能的最佳做法往往要求通過培訓大量數(shù)據(jù)上的十億節(jié)點變壓器來創(chuàng)建基礎模型,使這種方法對大多數(shù)組織來說成本過高。比如說,他說?超過1億美元去訓練GTP-4。研究和工業(yè)界已開始為小型語言模型和較便宜的培訓方法提供有希望的結(jié)果,但這些還沒有被推廣和商品化。對現(xiàn)有模式進行微調(diào)是另一種資源密集程度較低的方法,將來也可能成為一種好的選擇,但這一方法仍然需要大量的專門知識才能正確。LLMS的好處之一是,他們使對AI的訪問民主化,但不得不雇傭一個博士團隊來微調(diào)一個模型,這在很大程度上否定了這種好處。

RAG是當今最好的選擇,但它的實施方式必須能夠提供準確和最新的信息,并以一種可以跨應用程序和團隊進行擴展的管理方式。為了了解為什么事件驅(qū)動的體系結(jié)構(gòu)最適合于此,我們可以看看四個熱奈應用程序開發(fā)模式。

1.數(shù)據(jù)增強

應用程序必須能夠提取相關的上下文信息,通常是通過使用向量數(shù)據(jù)庫來查找語義相似的信息,通常編碼在半結(jié)構(gòu)化或非結(jié)構(gòu)化文本中。這意味著從不同的操作庫中收集數(shù)據(jù),并將其"分塊"到可管理的部分,從而保留其含義。然后將這些信息塊嵌入到向量數(shù)據(jù)庫中,在那里它們可以與提示符耦合。

事件驅(qū)動的體系結(jié)構(gòu)在這里是有益的,因為它是一種有效的方法,可以實時集成來自整個企業(yè)的不同數(shù)據(jù)源,提供可靠和可信的信息。相比之下,使用級聯(lián)批處理操作的更為傳統(tǒng)的ETL(提取、轉(zhuǎn)換、負載)管道不太適合使用,因為當信息到達LLP時,它通常會失效。事件驅(qū)動的體系結(jié)構(gòu)確保在對操作數(shù)據(jù)存儲進行更改時,這些更改會被轉(zhuǎn)移到將用于上下文化提示的向量存儲中。將這些數(shù)據(jù)組織成流數(shù)據(jù)產(chǎn)品也有助于可重用性,因此這些數(shù)據(jù)轉(zhuǎn)換可以被看作是可組合的組件,可以支持多個使用LLP的應用程序的數(shù)據(jù)增強。

2. Inference

推斷涉及到工程提示和先前步驟中準備的數(shù)據(jù)和處理來自LOM的響應。當用戶發(fā)出提示時,應用程序從向量數(shù)據(jù)庫或?qū)Φ确罩惺占嚓P上下文,以生成盡可能好的提示。

像Tg-1這樣的應用程序通常需要幾秒鐘的時間來響應,這是分布式系統(tǒng)中的永恒。使用事件驅(qū)動的方法意味著這種通信可以在服務和團隊之間異步進行。有了事件驅(qū)動的體系結(jié)構(gòu),服務可以按照功能專業(yè)進行分解,這使應用程序開發(fā)團隊和數(shù)據(jù)團隊能夠分別工作,以實現(xiàn)其性能和準確性目標。

此外,通過提供分解的、專門的服務而不是單一的服務,這些應用程序可以獨立地部署和擴展。這有助于減少進入市場的時間,因為新的推理步驟是消費者群體,并且組織可以模板基礎結(jié)構(gòu)快速實例化這些。

3. Workflows

推理代理和推理步驟通常被鏈接到序列中,其中下一個LLM調(diào)用基于以前的響應。這在復雜任務的自動化中是有用的,在這些復雜任務中,單個LRAM調(diào)用將不足以完成流程。將代理分解為調(diào)用鏈的另一個原因是,當我們提出多個更簡單的問題時,如今流行的LLMS往往會返回更好的結(jié)果,盡管這種情況正在發(fā)生變化。

下面的示例工作流說明,通過數(shù)據(jù)流平臺,Web開發(fā)團隊可以獨立于后端系統(tǒng)工程師工作,允許每個團隊根據(jù)自己的需要進行規(guī)?；?。數(shù)據(jù)流平臺能夠?qū)崿F(xiàn)技術(shù)、團隊和系統(tǒng)的脫鉤。

4. Post-Processing

盡管我們盡了最大努力,LLMS仍然可以產(chǎn)生錯誤的結(jié)果,所以我們需要一種方法來驗證輸出和執(zhí)行業(yè)務規(guī)則,以防止這些錯誤造成損害。

通常情況下,LLS工作流和依賴項的變化要比決定輸出是否可以接受的業(yè)務規(guī)則快得多。在上面的例子中,我們再次看到了與數(shù)據(jù)流平臺脫鉤的很好的應用:通過合規(guī)團隊驗證LLS輸出,可以獨立地操作來定義規(guī)則,而不需要與構(gòu)建LOM應用程序的團隊進行協(xié)調(diào)。

結(jié)論

RAG是一個強大的模型,可以提高LLMS的準確性,并使生成的AI應用程序在企業(yè)用例中可行。但破布不是銀子彈。它需要被一個架構(gòu)和數(shù)據(jù)傳遞機制所包圍,這些架構(gòu)和機制允許團隊構(gòu)建多個生成的AI應用程序,而不需要重新設計車輪,并以符合企業(yè)數(shù)據(jù)治理和質(zhì)量標準的方式進行。

數(shù)據(jù)流模型是滿足這些需求的最簡單和最有效的方式,它使團隊能夠釋放LLMS的全部能量,從而為其業(yè)務帶來新的價值。隨著技術(shù)成為業(yè)務,人工智能提高了這項技術(shù),那些有效競爭的公司將合并人工智能,以增加和簡化越來越多的流程。