設(shè)計(jì)一套不同的驗(yàn)證方案,以密切反映現(xiàn)實(shí)世界的場(chǎng)景和用戶請(qǐng)求。這種真實(shí)的評(píng)估確保了機(jī)器人能夠處理用戶可能提出的多樣化、有時(shí)不可預(yù)測(cè)的請(qǐng)求。

納入真實(shí)世界數(shù)據(jù)

超越假設(shè)的情況，取而代之的是,納入現(xiàn)實(shí)世界中的用戶輸入或者你從在線論壇、食譜網(wǎng)站或者社交媒體上收集到的通常被問到的飲食計(jì)劃問題。這將確保您的評(píng)估反映出機(jī)器人將如何實(shí)際使用,并揭示可能在理想化測(cè)試案例中不明顯的潛在問題。

使用提示模板

為了確保一致性和效率,創(chuàng)建可重用的快速模板,可以容易地適應(yīng)不同的情況。這簡(jiǎn)化了評(píng)價(jià)過程,并使各種設(shè)想方案之間的比較更加系統(tǒng)化。

以下是您可能使用的提示集示例:

· 基本膳食需求 :"為一名25歲的花生過敏女性制定一項(xiàng)為期7天的素食計(jì)劃。"

· 特殊飲食需求 :"為面筋不耐癥患者制作低碳水化合物、高蛋白的膳食計(jì)劃。"

· 創(chuàng)造性挑戰(zhàn) :"建議使用季節(jié)性配料的獨(dú)特和美味的素食食譜。"

· 復(fù)雜約束 :"為飲食偏好不同、預(yù)算有限的四口之家制定膳食計(jì)劃。"

假設(shè)您想評(píng)估您的模型的質(zhì)量及其響應(yīng)。您可以創(chuàng)建一個(gè)質(zhì)量評(píng)估模板(可以用于其他用例)。雖然并非詳盡無遺,但對(duì)答復(fù)進(jìn)行評(píng)級(jí)的一些標(biāo)準(zhǔn)可以是:

· 準(zhǔn)確性 信息是否屬實(shí),是否符合現(xiàn)行的營(yíng)養(yǎng)準(zhǔn)則?

· 相關(guān)性 :回應(yīng)是否直接指向用戶的查詢?

· 完整 *答復(fù)是否提供了充分的信息來全面處理該查詢?

· 清晰 *答復(fù)清楚、簡(jiǎn)明、易懂嗎?

· 安全性 答復(fù)是否避免了潛在的有害或誤導(dǎo)性的建議?

· 個(gè)性化(如適用) *答復(fù)是否考慮到用戶的個(gè)人需求和偏好(如果在提示中提供)?

· 專業(yè)主義 *答復(fù)是否以專業(yè)和同情的方式作出?

評(píng)級(jí)

· 優(yōu)秀的 *非常符合所有評(píng)價(jià)標(biāo)準(zhǔn)

· 好的 *符合大多數(shù)評(píng)價(jià)標(biāo)準(zhǔn),改進(jìn)余地不大

· 令人滿意的 *符合基本要求,但有明顯的改進(jìn)領(lǐng)域

· 需要改進(jìn) ::若干評(píng)價(jià)標(biāo)準(zhǔn)不足

· 不滿意的 ::不符合基本要求,提供不準(zhǔn)確或可能有害的信息

抽樣說明

1. 提示:"我希望減肥。你能推薦一個(gè)節(jié)食計(jì)劃嗎?"

2. 提示:"我可以在兩餐之間吃些什么健康的零食?"

3. 我是素食主義者。我如何確保我有足夠的蛋白質(zhì)?"

4. 提示:"如果我早上不餓,不吃早餐可以嗎?""

5. 我的孩子是個(gè)挑剔的食客。你有什么建議嗎?"

6. 提示:"我有高血壓。我應(yīng)該避免哪些食物?"

7. 提示:"我懷孕了。我需要關(guān)注的重要營(yíng)養(yǎng)素是什么?"

8. 提示:"我有乳糖不耐癥。什么是鈣的好來源?"

9. 提示:"你能解釋好脂肪和壞脂肪的區(qū)別嗎?"

10. 提示:"我正在為馬拉松訓(xùn)練。跑步前后我該吃什么?"

一個(gè)例子 等級(jí)提示符 就像:

· 我是素食主義者。我如何確保我有足夠的蛋白質(zhì)?"

· LLM反應(yīng):素食并不意味著你得不到足夠的蛋白質(zhì)。有大量的植物蛋白來源,如豆類,扁豆,豆腐,堅(jiān)果和種子。每天一定要在你的飲食中加入各種各樣的食物。你也可以嘗試植物蛋白粉,以獲得額外的提升。

評(píng)價(jià) 使用上述模板:

· 準(zhǔn)確性 :非常好。這些信息是準(zhǔn)確的,并符合當(dāng)前素食者的營(yíng)養(yǎng)指南。

· 相關(guān)性 :非常好。該回復(fù)直接解決了用戶關(guān)于在素食飲食中獲取足夠蛋白質(zhì)的問題。

· 完整 :很好。該反應(yīng)提供了蛋白質(zhì)來源的良好概述,但通過提及特定的蛋白質(zhì)量或服務(wù)量,可以更加全面。

· 清晰 :非常好。答復(fù)清晰、簡(jiǎn)明、易懂。

· 安全性 :非常好。建議是安全的,不提倡任何有害的做法

· 個(gè)性化 ::不適用。提示沒有提供任何個(gè)人細(xì)節(jié)以供定制的建議。

· 專業(yè)主義 :很好。這種反應(yīng)是專業(yè)的,但可以用更有同情心的語氣來加強(qiáng),比如承認(rèn)素食的潛在挑戰(zhàn)。

· 評(píng)級(jí): 好的

現(xiàn)在,對(duì)于競(jìng)爭(zhēng)對(duì)手模型,遵循相同的流程,您希望將其作為基線使用。,雙子座1.5,或者說。

· 計(jì)算平均得分 :

o 你的標(biāo)準(zhǔn) :將你的LMA的收視率除以提示數(shù)。

o 目標(biāo)1(或類似基線) :對(duì)Tg-1評(píng)級(jí)進(jìn)行同樣的計(jì)算。

· 比較和分析 :

o 直接比較 :直接比較平均得分。根據(jù)你的評(píng)價(jià)標(biāo)準(zhǔn),平均值越高,總體表現(xiàn)越好.

o 分布分析 查看每種模式的評(píng)級(jí)分布情況(多少"優(yōu)秀"、"優(yōu)秀"等)。各收到)。這可以突出具體領(lǐng)域的長(zhǎng)處和弱點(diǎn)。

o 具體的即時(shí)分析 :如果某些提示語的評(píng)級(jí)有顯著差異,請(qǐng)?jiān)敿?xì)分析這些提示語,以了解為什么一個(gè)模型的性能比另一個(gè)好。

模型平均分優(yōu)秀的好的令人滿意的需要改進(jìn)不滿意的

你的標(biāo)準(zhǔn)4.230501550

目標(biāo)13.8204525100

· 解釋 :

o 在這個(gè)例子中,你的LMA的平均得分稍高一些,這表明根據(jù)你的評(píng)價(jià)標(biāo)準(zhǔn),整體表現(xiàn)更好。

o 你的LMA也有更高的百分比的"優(yōu)秀"評(píng)級(jí),表明它在更多的領(lǐng)域是優(yōu)秀的。

o ChatGPT有更多的"滿意"和"需要改進(jìn)"評(píng)級(jí),突出了可能需要進(jìn)一步改進(jìn)的領(lǐng)域。

利用評(píng)價(jià)數(shù)據(jù)

評(píng)價(jià)不僅僅是收集數(shù)據(jù),它是為了提取可操作的見解,以不斷完善你的人工智能廚師。專業(yè)的LLS評(píng)估框架和工具可以顯著簡(jiǎn)化分析,并幫助您從評(píng)估數(shù)據(jù)中獲得更深入的見解。

以下是這些工具和框架通常提供的一些好處:

· 預(yù)先確定的指標(biāo) :可使用涵蓋共同評(píng)價(jià)方面的現(xiàn)成指標(biāo),如準(zhǔn)確性、偏見、幻覺等,無需從頭創(chuàng)造一切。

· 數(shù)據(jù)網(wǎng)管理工具 :毫不費(fèi)力地組織和有效處理您的評(píng)估數(shù)據(jù),促進(jìn)系統(tǒng)的分析和跟蹤。

· 可視化儀表板 :在一段時(shí)間內(nèi)獲得對(duì)模型性能的清晰、直觀的洞察力,使其更容易識(shí)別趨勢(shì),發(fā)現(xiàn)潛在問題,并確定需要改進(jìn)的領(lǐng)域。

· 切下你的數(shù)據(jù) 不要只看全局。按用戶人口統(tǒng)計(jì)(年齡,飲食限制),提示類型,甚至一天的時(shí)間來分解結(jié)果。揭示隱藏模式可以導(dǎo)致強(qiáng)大的優(yōu)化。

· 擁抱迭代 :評(píng)估不是一次性的事件;它是一個(gè)貫穿于開發(fā)生命周期的連續(xù)過程。隨著您收集更多的數(shù)據(jù),分析性能,并做出數(shù)據(jù)驅(qū)動(dòng)的改進(jìn),您的膳食計(jì)劃?rùn)C(jī)器人將變得更加準(zhǔn)確、可靠和方便用戶。

持續(xù)改進(jìn)

持續(xù)改進(jìn)是一個(gè)不斷完善和提高模型性能、安全性和總體能力的過程。它是關(guān)于不斷地挑戰(zhàn)這些人工智能模型所能達(dá)到的極限,使它們更可靠、更有用,并與人類價(jià)值相一致。

從本質(zhì)上講,評(píng)價(jià)是一個(gè)反饋循環(huán),為開發(fā)人員提供了重要的信息,可以反復(fù)改進(jìn)他們的LLMS。這種持續(xù)的評(píng)估、分析和完善周期是這些強(qiáng)大的人工智能模型的持續(xù)改進(jìn)的動(dòng)力,最終導(dǎo)致在各個(gè)領(lǐng)域更有能力、更合乎道德和更有利的應(yīng)用。

結(jié)論:人工智能膳食規(guī)劃完美之旅

把你的膳食計(jì)劃?rùn)C(jī)器人想成是正在制作中的烹飪杰作。就像任何美味的菜肴一樣,它需要仔細(xì)的品嘗,調(diào)整和精致,以達(dá)到它的全部潛能。當(dāng)你的味蕾,引導(dǎo)你走向完美的口味平衡--從營(yíng)養(yǎng)的準(zhǔn)確性,飲食的堅(jiān)持,食譜的質(zhì)量和用戶的喜悅。

記住,評(píng)估不是一次性的,它是一個(gè)持續(xù)不斷的改進(jìn)過程。通過采用一個(gè)強(qiáng)有力的評(píng)估框架和利用數(shù)據(jù)驅(qū)動(dòng)的洞察力,你可以把你的人工智能膳食計(jì)劃從一個(gè)有前途的原型轉(zhuǎn)換成一個(gè)真正的特殊工具,使用戶能夠做出更健康、更愉快的食物選擇。所以,繼續(xù)品嘗,繼續(xù)精煉,并且看著你的烹飪創(chuàng)作蓬勃發(fā)展!