如何設(shè)計(jì)事件流,第 2 部分
模式和數(shù)據(jù)契約
模式對(duì)于定義事件至關(guān)重要。模式提供了有關(guān)事件中應(yīng)該出現(xiàn)什么和不應(yīng)該出現(xiàn)什么的所有信息,包括名稱(chēng)、類(lèi)型、可選性和內(nèi)聯(lián)文檔,僅舉幾個(gè)功能。流行的模式技術(shù)包括Avro、Protobuf和JSON Schema。
如果您嘗試在沒(méi)有模式的情況下流式傳輸數(shù)據(jù),那么您就做錯(cuò)了。但如果您只想要簡(jiǎn)短的形式,這里是:
1. 使用模式:模式可以防止生產(chǎn)者在寫(xiě)入數(shù)據(jù)時(shí)犯錯(cuò)誤,因?yàn)槟梢灾苯訌哪J奖旧砩缮a(chǎn)者代碼。同樣,消費(fèi)者不再需要解釋數(shù)據(jù) - 只需按照模式上的方式讀取數(shù)據(jù),并相應(yīng)地使用它。模式還提供演化功能,您可以根據(jù)不斷變化的業(yè)務(wù)需求安全地(在某種程度上)修改模式。
1. 構(gòu)建數(shù)據(jù)契約:它們將事件的內(nèi)容和流本身形式化。它類(lèi)似于服務(wù) API,不僅指定如何使用事件流,還指定如何訪(fǎng)問(wèn)它、安全要求和所有權(quán)。
但現(xiàn)在我們已經(jīng)確定我們正在使用一個(gè)模式……讓我們看看事件設(shè)計(jì)的第一個(gè)主要因素。
因素 1:狀態(tài)(事實(shí))與增量(變化)
狀態(tài)事件(也稱(chēng)為事實(shí)事件)詳細(xì)說(shuō)明了特定時(shí)間點(diǎn)實(shí)體狀態(tài)的整個(gè)范圍。它包含履行公共數(shù)據(jù)合同所需的所有字段和值。您可以將狀態(tài)事件視為關(guān)系數(shù)據(jù)庫(kù)中的一行,其中所需字段由表的架構(gòu)定義表示。
相反,增量事件記錄兩個(gè)狀態(tài)之間的變化。它包括有關(guān)哪些字段已更改及其新值的數(shù)據(jù),但不包括有關(guān)未更改字段的信息。
我們來(lái)看一下購(gòu)物車(chē)的例子:
狀態(tài)(事實(shí))事件與item_added_to_cart增量事件
在左側(cè),我們有代表購(gòu)物車(chē)在某個(gè)時(shí)間點(diǎn)的狀態(tài)的狀態(tài)事件,盡管它本身并不能準(zhǔn)確指示發(fā)生了什么變化。為此,您需要訪(fǎng)問(wèn)之前的購(gòu)物車(chē)信息。
右側(cè)的增量描述了完全相同的業(yè)務(wù)發(fā)生,特別是添加到購(gòu)物車(chē)的 item:521 的 1 個(gè)實(shí)例。但是,它不會(huì)顯示購(gòu)物車(chē)的當(dāng)前狀態(tài) - 為此,您需要訪(fǎng)問(wèn)之前的所有增量事件。
事實(shí)和增量各有其權(quán)衡:所以讓我們直接討論何時(shí)使用哪個(gè)。
事實(shí)事件對(duì)于溝通狀態(tài)來(lái)說(shuō)是優(yōu)越的
事實(shí)為其消費(fèi)者提供了預(yù)先計(jì)算的狀態(tài),使他們無(wú)需計(jì)算任何狀態(tài)。他們只是簡(jiǎn)單地消費(fèi)事實(shí)并根據(jù)其業(yè)務(wù)邏輯處理狀態(tài)。
如果您嘗試與增量通信狀態(tài),則必須從主題的最開(kāi)始重新創(chuàng)建狀態(tài)。您還必須確保使用正確的業(yè)務(wù)邏輯來(lái)處理每個(gè)狀態(tài)更改。大多數(shù)域比簡(jiǎn)單地在購(gòu)物車(chē)中添加/刪除商品更復(fù)雜,并且嘗試在源系統(tǒng)外部重新計(jì)算狀態(tài)是非常危險(xiǎn)的。相反,只依賴(lài)事實(shí)事件。
考慮計(jì)算的復(fù)雜性:
· 客戶(hù)公司銀行賬戶(hù)的賬戶(hù)余額
· 電子商務(wù)零售商的當(dāng)前庫(kù)存
· 欠政府的稅款
雖然其中每一個(gè)都可以由關(guān)心它的每個(gè)消費(fèi)者來(lái)計(jì)算,但設(shè)置和維護(hù)起來(lái)卻極其復(fù)雜。除了稍微減少網(wǎng)絡(luò)數(shù)據(jù)使用量之外,它沒(méi)有任何實(shí)際好處。簡(jiǎn)而言之,最好使用事實(shí)事件來(lái)傳達(dá)狀態(tài)。
事實(shí)讓您推斷出三角洲
一對(duì)事實(shí)事件可讓您推斷自己的更改:您可以看到從第一個(gè)事件到第二個(gè)事件發(fā)生的所有更改。
推斷更改的一個(gè)選項(xiàng):將最后一個(gè)事實(shí)保留在您的服務(wù)或作業(yè)的狀態(tài)存儲(chǔ)中。
您在服務(wù)或作業(yè)的狀態(tài)存儲(chǔ)中保留最后使用狀態(tài)的副本。請(qǐng)注意,您只需保留您關(guān)心的狀態(tài),其余的都可以扔掉。您也可以選擇保留多個(gè)先前的狀態(tài)(例如,最近 3 個(gè)或最后 10 個(gè)狀態(tài)更新),以便您可以隨著時(shí)間的推移推斷更復(fù)雜的更改。
作為權(quán)衡,您需要提供狀態(tài)存儲(chǔ)。您還需要編寫(xiě)代碼來(lái)推斷狀態(tài)之間的任何變化,其復(fù)雜性將根據(jù)您的要求而有所不同。在某些情況下,邏輯只需要檢測(cè)邊緣過(guò)渡,如下圖所示,其中 adiscount_code應(yīng)用于購(gòu)物車(chē)。在其他情況下,狀態(tài)計(jì)算可能更復(fù)雜,需要來(lái)自多個(gè)事件或流的數(shù)據(jù)與內(nèi)部狀態(tài)交叉引用。
推斷更改的第二個(gè)選項(xiàng):使用事件中的before和after字段。
您可以在單個(gè)事件中提供兩種狀態(tài)。正如您可能已經(jīng)猜到的,before 字段保存更改之前的狀態(tài),而 after 字段保存更改后的狀態(tài)。它通常用作變更數(shù)據(jù)捕獲 (CDC) 服務(wù)的一部分,使您能夠查看兩個(gè)狀態(tài)之間的整個(gè)更新,并自行推斷單個(gè)事件中發(fā)生了什么變化。請(qǐng)注意,這會(huì)使活動(dòng)規(guī)模增加一倍,并可能導(dǎo)致額外費(fèi)用。
帶有前后小節(jié)的購(gòu)物車(chē)事實(shí)
事實(shí)事件本質(zhì)上比增量事件更大。如果數(shù)據(jù)非常大或者更新非常頻繁,那么維護(hù)成本可能會(huì)很高。