模式和數(shù)據(jù)契約

模式對(duì)于定義事件至關(guān)重要。模式提供了有關(guān)事件中應(yīng)該出現(xiàn)什么和不應(yīng)該出現(xiàn)什么的所有信息，包括名稱、類型、可選性和內(nèi)聯(lián)文檔，僅舉幾個(gè)功能。流行的模式技術(shù)包括Avro、Protobuf和JSON Schema。

如果您嘗試在沒有模式的情況下流式傳輸數(shù)據(jù)，那么您就做錯(cuò)了。但如果您只想要簡(jiǎn)短的形式，這里是：

1. 使用模式：模式可以防止生產(chǎn)者在寫入數(shù)據(jù)時(shí)犯錯(cuò)誤，因?yàn)槟梢灾苯訌哪Ｊ奖旧砩缮a(chǎn)者代碼。同樣，消費(fèi)者不再需要解釋數(shù)據(jù) - 只需按照模式上的方式讀取數(shù)據(jù)，并相應(yīng)地使用它。模式還提供演化功能，您可以根據(jù)不斷變化的業(yè)務(wù)需求安全地(在某種程度上)修改模式。

1. 構(gòu)建數(shù)據(jù)契約：它們將事件的內(nèi)容和流本身形式化。它類似于服務(wù) API，不僅指定如何使用事件流，還指定如何訪問它、安全要求和所有權(quán)。

但現(xiàn)在我們已經(jīng)確定我們正在使用一個(gè)模式……讓我們看看事件設(shè)計(jì)的第一個(gè)主要因素。

因素 1：狀態(tài)(事實(shí))與增量(變化)

狀態(tài)事件(也稱為事實(shí)事件)詳細(xì)說明了特定時(shí)間點(diǎn)實(shí)體狀態(tài)的整個(gè)范圍。它包含履行公共數(shù)據(jù)合同所需的所有字段和值。您可以將狀態(tài)事件視為關(guān)系數(shù)據(jù)庫(kù)中的一行，其中所需字段由表的架構(gòu)定義表示。

相反，增量事件記錄兩個(gè)狀態(tài)之間的變化。它包括有關(guān)哪些字段已更改及其新值的數(shù)據(jù)，但不包括有關(guān)未更改字段的信息。

我們來看一下購(gòu)物車的例子：

狀態(tài)(事實(shí))事件與item_added_to_cart增量事件

在左側(cè)，我們有代表購(gòu)物車在某個(gè)時(shí)間點(diǎn)的狀態(tài)的狀態(tài)事件，盡管它本身并不能準(zhǔn)確指示發(fā)生了什么變化。為此，您需要訪問之前的購(gòu)物車信息。

右側(cè)的增量描述了完全相同的業(yè)務(wù)發(fā)生，特別是添加到購(gòu)物車的 item:521 的 1 個(gè)實(shí)例。但是，它不會(huì)顯示購(gòu)物車的當(dāng)前狀態(tài) - 為此，您需要訪問之前的所有增量事件。

事實(shí)和增量各有其權(quán)衡：所以讓我們直接討論何時(shí)使用哪個(gè)。

事實(shí)事件對(duì)于溝通狀態(tài)來說是優(yōu)越的

事實(shí)為其消費(fèi)者提供了預(yù)先計(jì)算的狀態(tài)，使他們無(wú)需計(jì)算任何狀態(tài)。他們只是簡(jiǎn)單地消費(fèi)事實(shí)并根據(jù)其業(yè)務(wù)邏輯處理狀態(tài)。

如果您嘗試與增量通信狀態(tài)，則必須從主題的最開始重新創(chuàng)建狀態(tài)。您還必須確保使用正確的業(yè)務(wù)邏輯來處理每個(gè)狀態(tài)更改。大多數(shù)域比簡(jiǎn)單地在購(gòu)物車中添加/刪除商品更復(fù)雜，并且嘗試在源系統(tǒng)外部重新計(jì)算狀態(tài)是非常危險(xiǎn)的。相反，只依賴事實(shí)事件。

考慮計(jì)算的復(fù)雜性：

· 客戶公司銀行賬戶的賬戶余額

· 電子商務(wù)零售商的當(dāng)前庫(kù)存

· 欠政府的稅款

雖然其中每一個(gè)都可以由關(guān)心它的每個(gè)消費(fèi)者來計(jì)算，但設(shè)置和維護(hù)起來卻極其復(fù)雜。除了稍微減少網(wǎng)絡(luò)數(shù)據(jù)使用量之外，它沒有任何實(shí)際好處。簡(jiǎn)而言之，最好使用事實(shí)事件來傳達(dá)狀態(tài)。

事實(shí)讓您推斷出三角洲

一對(duì)事實(shí)事件可讓您推斷自己的更改：您可以看到從第一個(gè)事件到第二個(gè)事件發(fā)生的所有更改。

推斷更改的一個(gè)選項(xiàng)：將最后一個(gè)事實(shí)保留在您的服務(wù)或作業(yè)的狀態(tài)存儲(chǔ)中。

您在服務(wù)或作業(yè)的狀態(tài)存儲(chǔ)中保留最后使用狀態(tài)的副本。請(qǐng)注意，您只需保留您關(guān)心的狀態(tài)，其余的都可以扔掉。您也可以選擇保留多個(gè)先前的狀態(tài)(例如，最近 3 個(gè)或最后 10 個(gè)狀態(tài)更新)，以便您可以隨著時(shí)間的推移推斷更復(fù)雜的更改。

作為權(quán)衡，您需要提供狀態(tài)存儲(chǔ)。您還需要編寫代碼來推斷狀態(tài)之間的任何變化，其復(fù)雜性將根據(jù)您的要求而有所不同。在某些情況下，邏輯只需要檢測(cè)邊緣過渡，如下圖所示，其中 adiscount_code應(yīng)用于購(gòu)物車。在其他情況下，狀態(tài)計(jì)算可能更復(fù)雜，需要來自多個(gè)事件或流的數(shù)據(jù)與內(nèi)部狀態(tài)交叉引用。

推斷更改的第二個(gè)選項(xiàng)：使用事件中的before和after字段。

您可以在單個(gè)事件中提供兩種狀態(tài)。正如您可能已經(jīng)猜到的，before 字段保存更改之前的狀態(tài)，而 after 字段保存更改后的狀態(tài)。它通常用作變更數(shù)據(jù)捕獲 (CDC) 服務(wù)的一部分，使您能夠查看兩個(gè)狀態(tài)之間的整個(gè)更新，并自行推斷單個(gè)事件中發(fā)生了什么變化。請(qǐng)注意，這會(huì)使活動(dòng)規(guī)模增加一倍，并可能導(dǎo)致額外費(fèi)用。

帶有前后小節(jié)的購(gòu)物車事實(shí)

事實(shí)事件本質(zhì)上比增量事件更大。如果數(shù)據(jù)非常大或者更新非常頻繁，那么維護(hù)成本可能會(huì)很高。