我們的重點(diǎn)從評(píng)估一般LM能力轉(zhuǎn)移到評(píng)估我們特定的膳食計(jì)劃模型的性能。這意味著仔細(xì)判斷我們的提示的有效性和由此產(chǎn)生的膳食計(jì)劃的質(zhì)量。在此之前,我們需要組裝我們的工具包:

1.定義你的指標(biāo)

什么是度量標(biāo)準(zhǔn)?衡量是衡量你的評(píng)價(jià)的磁帶--我們用來評(píng)估成功的量化標(biāo)準(zhǔn)。例如,在食品科學(xué)中,有很多變量會(huì)影響菜的味道:口感、溫度、鹽、酸性、脂肪含量等等。然而,一個(gè)人理解其中任何一種的方式是通過一些指標(biāo):例如。,每一口含脂肪量的克數(shù),或由10人組成的1-10等級(jí)的口腔感覺。這些"輸出度量"是衡量標(biāo)準(zhǔn)--我們能夠理解我們感興趣的性能的方法。良好的度量應(yīng)該是明確的、一致的和定量的,以幫助您理解模型的行為。

要確定哪些度量標(biāo)準(zhǔn)適用于您的產(chǎn)品,請考慮機(jī)器人性能的哪些方面最重要。雖然通用度量提供了一個(gè)起點(diǎn),但請記住,您可能需要至少一個(gè)定制的度量,以適合您唯一的飲食規(guī)劃應(yīng)用程序。食譜的適宜性、飲食的堅(jiān)持性和口味偏好等方面可能沒有被標(biāo)準(zhǔn)的衡量標(biāo)準(zhǔn)完全捕捉到?？紤]這些類別可能與我們的用例特別相關(guān),從各個(gè)NLP任務(wù)中的既定評(píng)價(jià)實(shí)踐中吸取靈感:

營養(yǎng)精確度

· 宏觀和微量營養(yǎng)素校準(zhǔn) :生成的膳食計(jì)劃是否會(huì)影響到用戶的熱量和宏觀目標(biāo)?必要的維生素和礦物質(zhì)是否充分結(jié)合?在這里,我們可以利用定量分析,制定能夠捕捉到,例如,每個(gè)反應(yīng)的平均維生素含量的措施。

· 飲食限制的堅(jiān)持 :機(jī)器人是否一貫尊重用戶偏好,如素食主義、素食主義或過敏癥?可以自動(dòng)檢查是否存在特定成分。這涉及生成的膳食計(jì)劃的"相關(guān)性",確保它們滿足用戶的具體需求。

加工質(zhì)量和可行性

· 完整性和明確性 :這些食譜是否結(jié)構(gòu)合理,有詳細(xì)的成分清單和易于理解的說明?這方面可能受益于自動(dòng)檢查結(jié)構(gòu)要素和關(guān)于清晰度的人的質(zhì)量反饋。

· 成分供應(yīng)及成本 :在大多數(shù)雜貨店,所需的原料是否容易買到?膳食計(jì)劃是否符合實(shí)際的預(yù)算限制?這關(guān)系到膳食計(jì)劃的"基礎(chǔ)"--確保它們是基于真實(shí)世界的數(shù)據(jù)和約束?？紤]使用外部數(shù)據(jù)源或API來驗(yàn)證成分的可用性和平均成本。

· 品味和多樣性 *雖然主觀,但收集用戶對(duì)膳食計(jì)劃總體吸引力和多樣性的反饋至關(guān)重要。這種定性數(shù)據(jù)可以通過調(diào)查、評(píng)級(jí)或?qū)彶閬硎占?

用戶體驗(yàn)

· 使用方便 :用戶能輕易輸入他們的信息并收到個(gè)性化的計(jì)劃嗎?A/B測試不同的接口設(shè)計(jì),并通過問卷收集用戶的反饋,可以非常有效。模型的響應(yīng)是否容易理解和直觀?

· 定制選項(xiàng) 機(jī)器人允許靈活性嗎?用戶是否可以根據(jù)自己的喜好調(diào)整部分、換餐或要求其他選擇?跟蹤用戶使用這些功能的頻率,分析他們對(duì)結(jié)果的滿意度。您可以通過跟蹤用戶生成膳食計(jì)劃的頻率、每個(gè)會(huì)話創(chuàng)建的計(jì)劃數(shù)量以及使用定制功能的頻率來衡量用戶參與度。此外,通過跟蹤用戶是否在一段時(shí)間內(nèi)返回到使用機(jī)器人來監(jiān)控用戶保留。

· 總體滿意度 :用戶對(duì)生成的計(jì)劃有多滿意?他們會(huì)把機(jī)器人推薦給其他人嗎?采用凈發(fā)起人得分(NPS)或滿意度等指標(biāo)來衡量總體情緒。

負(fù)責(zé)的人工智能

· 毒性和偏見 機(jī)器人是否產(chǎn)生任何有害或令人討厭的內(nèi)容?它是否表現(xiàn)出基于性別、族裔或其他敏感屬性的偏見?仔細(xì)分析模型的輸出,可能使用現(xiàn)有的毒性和偏倚檢測工具,對(duì)于確保人工智能的道德和負(fù)責(zé)任至關(guān)重要。

· 幻覺癥 :機(jī)器人是否捏造信息或提出虛假索賠作為事實(shí)?鑒于配方的生成通常涉及創(chuàng)造性,而且可能并不總是有一個(gè)"正確"的答案,評(píng)估幻覺需要仔細(xì)考慮。采用多方面的方法,利用一致性檢查、針對(duì)外部數(shù)據(jù)庫的事實(shí)核實(shí),以及重要的是用戶反饋。

業(yè)績指標(biāo)

· 回應(yīng)時(shí)間: 機(jī)器人產(chǎn)生膳食計(jì)劃的速度有多快?這是用戶體驗(yàn)的一個(gè)關(guān)鍵因素,特別是在實(shí)時(shí)交互設(shè)置中。

· 效率 :多少計(jì)算資源(例如:)機(jī)器人消費(fèi)是為了生成膳食計(jì)劃嗎?平衡成本和績效對(duì)于可持續(xù)部署至關(guān)重要。

您選擇的評(píng)估方法將取決于您正在評(píng)估的具體指標(biāo)。為了確定正確的指標(biāo),下面是一些需要思考的問題:

· 我們是否可以刪除指令中的任何歧義,以便測試人員能夠做出客觀的決定?

· 指標(biāo)是否反映了我們試圖衡量的數(shù)量?我們應(yīng)該向評(píng)標(biāo)師說明這個(gè)數(shù)量是多少。

o 你可能會(huì)問,"數(shù)量是指什么?"這與我們試圖解決的問題非常相關(guān)。例如,在評(píng)估真實(shí)性時(shí),我們希望確保我們在答復(fù)中提出的任何主張都是基于事實(shí)的。這是通過準(zhǔn)確性完成的。例如,如果我問,"斯蒂夫柯里有多高?你的模型回答說"他有6尺2寸",這是可以量化的說法。他實(shí)際上是6尺3寸所以反應(yīng)不準(zhǔn)確。評(píng)級(jí)沒有主觀性。你的模型差了一英寸。

o 為了獲得更多的質(zhì)量評(píng)級(jí),例如質(zhì)量或以下指導(dǎo),我們需要向評(píng)級(jí)者說明我們對(duì)這些計(jì)量的簡明定義意味著什么,以便他們能夠試圖做出量化的判斷。關(guān)鍵是,盡管結(jié)果大多是定性的,但測試人員需要將結(jié)果轉(zhuǎn)化為定量評(píng)估。這降低了評(píng)級(jí)的主觀性。

2.選擇評(píng)估方法

在選擇評(píng)估度量標(biāo)準(zhǔn)的方法之前,請仔細(xì)考慮每種方法的優(yōu)缺點(diǎn):

定量評(píng)估

這個(gè)方法使用基于預(yù)先定義的規(guī)則的自動(dòng)檢查,客觀地衡量你的膳食計(jì)劃員的表現(xiàn)的具體方面,如營養(yǎng)準(zhǔn)確性,遵守飲食限制,成分供應(yīng)和成本。

定性反饋

對(duì)于更主觀和微妙的方面,如食譜質(zhì)量,品味吸引力,和整體用戶滿意度,收集豐富的,上下文反饋直接從用戶通過調(diào)查,焦點(diǎn)小組,或一對(duì)一訪談。

A/B試驗(yàn)

A/B測試是數(shù)據(jù)驅(qū)動(dòng)決策的一種強(qiáng)大技術(shù),它涉及到對(duì)不同版本的模型進(jìn)行比較(例如:,在激勵(lì)策略或數(shù)據(jù)來源方面有所不同)或試驗(yàn)不同的提示。通過衡量您選擇的指標(biāo)的性能,您可以確定哪種方法產(chǎn)生最佳結(jié)果和用戶體驗(yàn)。

協(xié)助評(píng)價(jià)

一個(gè)有趣的方法是利用另一個(gè)LLM的能力來評(píng)估你的飲食規(guī)劃LL的輸出。這使你可以利用LLM的先進(jìn)推理能力,這對(duì)于評(píng)估膳食計(jì)劃的復(fù)雜或主觀方面特別有幫助,例如整體一致性、配方吸引力以及適合用戶的特定飲食需求和偏好。

人的評(píng)價(jià)

雖然人力資源更密集,但人的判斷力提供了寶貴的見解,特別是在需要專家知識(shí)時(shí)。考慮讓營養(yǎng)學(xué)家評(píng)估生成的膳食計(jì)劃的準(zhǔn)確性和飲食堅(jiān)持性,或收集經(jīng)驗(yàn)豐富的廚師對(duì)食譜清晰度和實(shí)用性的反饋。然而,重要的是要承認(rèn)主觀性的潛力,特別是在評(píng)價(jià)諸如品味偏好等方面時(shí)。