忘記你對人工智能的了解。這不僅僅是科技巨頭和擁有大量工程師和研究生的大學。建立有用的智能系統(tǒng)的力量是你力所能及的.感謝令人難以置信的進步?大型語言模型 (LLMS)--就像雙子座和Tg-1的動力一樣--你可以創(chuàng)建由Ai驅動的產品,這些產品過去需要一個工程師團隊。在這一系列中,我們將從一個美味的用例開始,揭示建立LOM驅動的應用程序的過程:創(chuàng)建一個個性化的AI膳食計劃。

作為我們旅行的一個例子,我們將構建一個飲食規(guī)劃應用程序。網上提供的膳食計劃并不短缺,包括根據不同需求定制的計劃(不同的目標、基本健康狀況等)。問題是,通常很難(有時是不可能的)找到專門為你量身定制的指導,而不雇用健康專家。

讓我們看看一個現實的例子:32歲的軟件工程師莎拉正在為她的第一次馬拉松訓練。她需要一個膳食計劃,不僅滿足她增加的熱量需求,而且也是由于她的乳糖不耐癥和對植物蛋白的偏好。傳統(tǒng)的膳食計劃應用程序很難適應這種定制的水平,這使它成為一個由lm驅動的解決方案的完美應用,它可以很容易地產生一個定制的計劃,調整大營養(yǎng)素,并建議滿足莎拉所有需求的特定食物。

在本教程中,我們將致力于開發(fā)一個模型,它可以吸收各種投入(年齡、身高、體重、活動水平、飲食限制、個人喜好等)。)及制作一份特別為使用者量身定制的美味營養(yǎng)餐計劃。

正確的成分:數據集的創(chuàng)建

我們將通過構造一個特定于用例的數據集來為模型的質量奠定基礎。我們將討論為什么數據如此重要,準備數據集的各種方法,以及如何通過清理數據來避免常見的陷阱。

軟件工程是建模的一個極好的隱喻。我們以后會在這篇文章中大量使用它。然而,當提到使用數據來修改模型性能時,幾乎沒有比雕刻更好的比喻了。用實心材料制作雕塑的過程通常是粗糙的造型,然后是連續(xù)幾輪的精煉,直到材料"聚合"到藝術家的視野中。

這樣,建模就需要從1和0的無特征的塊開始,然后慢慢地調整它,直到它按照建模者的意圖運行。雕刻家可以在那里拾起各種各樣的鑿、拾或錘,然而,建模者的工具是數據。

這個特殊的工具非常通用.它可以通過主題內容和實例的培訓,或通過與外部系統(tǒng)的連接,為模型注入新的知識和領域理解。?恢復增強一代 .它也可以通過在特定的邊緣情況下教授它以特定的方式進行行為來調試。反過來,它可以用來"放棄"在以前的訓練中引入的某些行為。數據作為了解模型行為甚至用戶行為的實驗工具也很有用。

有了這些應用程序和更多的應用程序,應該可以清楚地看到,在建模方面,數據幾乎是一切。在本節(jié)中,我們將全面概述如何為您的用例創(chuàng)建數據集,包括:

· 了解數據在整個模型生命周期中的使用情況

· 定義你的要求

· 創(chuàng)建數據集

· 為模型培訓準備數據集

整個模型生命周期的數據

人們很容易相信,大型語言模型的力量完全取決于它的大小--參數越多越好。但這只是故事的一部分。雖然模型大小發(fā)揮了作用,但數據的質量和戰(zhàn)略性使用才是真正的解鎖LLS的潛力所在。這樣想:你可以給主廚一大堆配料,但如果沒有正確的食譜和技術,結果將不會是一個杰作。

讓我們來探索數據塑造LM思維的關鍵階段,把它從一張空白的表格轉變成一個強大而多才多藝的人工智能:

1.預備培訓:建立廣泛的知識基礎

預先訓練就像把你的LMA送到一個"你可以吃到飽"的知識自助餐上。我們用大量的文本和代碼數據集來淹沒這個模型,使它暴露在互聯網的廣大范圍之外。這是語言語言學學習基本語言模式的地方,吸收了廣泛的概念,并發(fā)展了令人印象深刻的能力,以預測句子或代碼中接下來會發(fā)生什么。

2.監(jiān)督微調:發(fā)展專門知識

一旦LMA有了堅實的基礎,它的時間磨練其技能的具體任務。在監(jiān)督微調(SFT)中,我們?yōu)槟Ｐ吞峁┝私涍^仔細整理的快速響應對數據集,引導它達到期望的行為。你想讓你的律師翻譯語言嗎?提供翻譯文本的例子。需要它來總結文件嗎?提供精心制作的摘要。SFT是我們從一個通才到一個專業(yè)的LMA的模子。

3.強化學習:通過反饋改進行為

強化學習(RL)主要是反饋和優(yōu)化。我們向法律管理人提供選擇,遵守其決定,并為符合我們目標的反應提供獎勵。這個迭代過程幫助模型了解哪些響應是最有利的,逐漸完善其行為并提高其準確性。

4.背景學習:適應新信息

現實世界的對話充滿了驚喜,要求LLMS適應新的信息。上下文學習允許LLMS處理會話中呈現的新信息,即使它不是初始培訓數據的一部分。這種適應性使LLMS更有活力,更有能力處理突發(fā)事件。

5.檢索增強生成:擴大知識視野

有時,LLMS需要獲得超出其培訓數據范圍的信息。檢索增強生成(RAG)通過將LM連接到外部數據庫或知識庫來彌補這一缺口。這使模型能夠檢索最新信息,將其納入其答復,并提供更全面和更深刻的答案。