在上一節(jié)中,我們收集了人工智能創(chuàng)造的關(guān)鍵"成分"--數(shù)據(jù)。這是我們模式的基礎(chǔ)。請記住,配料的質(zhì)量(您的數(shù)據(jù))直接影響最后一道菜的質(zhì)量(您的模型的性能)。

現(xiàn)在,我們將把這些數(shù)據(jù)轉(zhuǎn)換成一個(gè)完全運(yùn)行的數(shù)據(jù)?大語言模型。 到本節(jié)結(jié)束時(shí),您將與自己的AI進(jìn)行互動!

選擇你的底層

在我們投入訓(xùn)練之前,我們將探索不同的方法來訓(xùn)練你的語言碩士。這就像為你的面包食譜選擇合適的面粉一樣--它顯著地影響了你最終創(chuàng)造的能力和局限性。

有很多方法可以訓(xùn)練一個(gè)ML模型.這也是一個(gè)積極的研究領(lǐng)域,每天都在出現(xiàn)新的方法。讓我們看一看模型開發(fā)方法的主要驗(yàn)證和真實(shí)類別。( 注意事項(xiàng) :這些方法不一定相互排斥。)

主要方法

1.從頭開始(預(yù)先訓(xùn)練你自己的模型)

這提供了最大的靈活性,但卻是資源最密集的途徑。這里需要大量的數(shù)據(jù)和計(jì)算資源,這意味著只有資源最充足的公司才能培訓(xùn)經(jīng)過培訓(xùn)的新型模型。

2.微調(diào)(建立在預(yù)先培訓(xùn)的模式基礎(chǔ)上)

這包括從一個(gè)強(qiáng)大的,現(xiàn)有的LLM開始,并使其適應(yīng)我們的具體的飲食規(guī)劃任務(wù)。這就像使用預(yù)做的面團(tuán)一樣--你不必從零開始,但是你仍然可以定制它。

3.利用開放源碼模式

探索越來越多的開源模型,通常是關(guān)于共同任務(wù)的預(yù)先培訓(xùn),而不需要廣泛的培訓(xùn)。

4.使用現(xiàn)成的商業(yè)模型

對于準(zhǔn)備生產(chǎn)的應(yīng)用,請考慮商業(yè)LLMS(例如:,來自谷歌,開放,微軟)為優(yōu)化性能,但有潛在的定制限制。

5.云計(jì)算服務(wù)

使用強(qiáng)大的工具和管理的基礎(chǔ)設(shè)施簡化培訓(xùn)和部署,簡化流程。

選擇正確的方法

你的法律碩士的最佳基礎(chǔ)取決于你的具體需要:

· 時(shí)間和資源: 你是否有能力進(jìn)行預(yù)訓(xùn)練,或者你需要一個(gè)更快的解決方案?

· 定制: 你需要多少控制模型的行為?

· 費(fèi)用: 你的預(yù)算是多少?你能投資于商業(yè)解決方案嗎?

· 表現(xiàn): 你需要什么水平的準(zhǔn)確性和性能?

· 能力: 您有哪些技術(shù)技能和/或計(jì)算資源?

向前邁進(jìn)

在本教程中,我們將側(cè)重于對雙子座專業(yè)進(jìn)行微調(diào),在我們的飲食規(guī)劃模型的努力和功能之間取得平衡。

準(zhǔn)備好培訓(xùn):導(dǎo)出數(shù)據(jù)集

既然我們已經(jīng)選擇了基礎(chǔ)層,那就準(zhǔn)備好數(shù)據(jù)進(jìn)行訓(xùn)練吧。由于我們使用的是谷歌云平臺(GCP),所以我們需要的數(shù)據(jù)是JSONL格式的。

注意事項(xiàng) :每個(gè)模型可能有具體的數(shù)據(jù)格式要求,因此在進(jìn)行之前總是查閱文件。

幸運(yùn)的是,將數(shù)據(jù)從谷歌表轉(zhuǎn)換為json,很簡單Python .

1. 出口到CSV :首先,將您的數(shù)據(jù)從谷歌表中導(dǎo)出為CSV文件。

2. 將CSV轉(zhuǎn)換為JSONL :運(yùn)行以下組腳本,替換your_recipes.csv 你的文件名:

import csv

import json

csv_file = 'your_recipes.csv' # Replace 'your_recipes.csv' with your CSV filename

jsonl_file = 'recipes.jsonl'

with open(csv_file, 'r', encoding='utf-8') as infile,

open(jsonl_file, 'w', encoding='utf-8') as outfile:

reader = csv.DictReader(infile)

for row in reader:

row['Prompt'] = row['Prompt'].splitlines()

row['Response'] = row['Response'].splitlines()

json.dump(row, outfile)

這將創(chuàng)造一個(gè) 接收器。 文件中的每一行是一個(gè)JSON對象,代表一個(gè)膳食計(jì)劃。

訓(xùn)練你的模特

我們終于準(zhǔn)備好開始訓(xùn)練我們的LMA了。開始吧!

1.項(xiàng)目設(shè)置

1. 谷歌云項(xiàng)目 :如果你還沒有新的谷歌云項(xiàng)目(?提供免費(fèi)層 ).

2. 啟用API :在控制臺中搜索"頂點(diǎn)人工智能",在頂點(diǎn)人工智能頁面上,點(diǎn)擊 啟用所有推薦的API .

3. 認(rèn)證 :搜尋"服務(wù)帳戶",并在該網(wǎng)頁上,按 創(chuàng)建服務(wù)帳戶 .使用演練設(shè)置一個(gè)服務(wù)帳戶,并下載安全訪問所需的憑證。

4. 云存儲桶 找到"云存儲"頁面,創(chuàng)建一個(gè)存儲桶。

2.頂點(diǎn)人工智能設(shè)置

1. 航行到?頂點(diǎn)人工智能工作室(提供免費(fèi)層) .

2. 點(diǎn)擊 在控制臺里試一試 在瀏覽器中,你已經(jīng)登錄到你的谷歌云帳戶。

3. 在左邊的窗格中找到并點(diǎn)擊 語言 .

4. 導(dǎo)航到"調(diào)音和蒸餾"標(biāo)簽:

3.示范培訓(xùn)

· 點(diǎn)擊 創(chuàng)建調(diào)諧模型 .

· 對于這個(gè)例子,我們將執(zhí)行一個(gè)基本的微調(diào)任務(wù),所以選擇"監(jiān)督性的調(diào)整"(默認(rèn)情況下應(yīng)該選擇)。

· 告訴你的模特名字。

· 選擇一個(gè)基本模型:我們將使用雙子座Pro1.0002這個(gè)例子。

· 點(diǎn)擊 繼續(xù) .

· 上傳您在步驟2中生成的JSOL文件。

· 您將被要求"數(shù)據(jù)集位置"。"這就是你的JSOL文件將位于云中的位置。您可以使用UI非常容易地創(chuàng)建一個(gè)"桶"來存儲這些數(shù)據(jù)。

點(diǎn)擊開始和等待模型被訓(xùn)練!通過這一步,你現(xiàn)在進(jìn)入了LLMAAI競技場。您生成的模型的質(zhì)量僅受您的想象力和您可以為您的用例找到、準(zhǔn)備和/或生成的數(shù)據(jù)的質(zhì)量的限制。

對于我們的用例,我們使用了我們早些時(shí)候生成的數(shù)據(jù),其中包括關(guān)于個(gè)人如何實(shí)現(xiàn)其具體健康目標(biāo)的提示,以及與這些限制相匹配的膳食計(jì)劃。

4.測試你的模型

一旦您的模型被訓(xùn)練,您可以測試它通過導(dǎo)航到它的調(diào)子和提取主頁。在這個(gè)接口中,您可以和其他聊天機(jī)器人一樣與新創(chuàng)建的模型進(jìn)行交互。