最近，有些讀者去頭條二面，被面試官問了一個關(guān)于Kafka的問題：多個Kafka消費者如何同時消費相同Topic下的相同Partition的數(shù)據(jù)？ 看似一個簡單的問題，竟然把這位讀者問懵了！

今天，我們就一起來說說這個面試題，好了，開始今天的主題。

題目分析

首先，要明確面試官的問題：多個Kafka消費者如何同時消費相同Topic下的相同Partition的數(shù)據(jù)？ 這個問題問的已經(jīng)很明顯了，我們只要回答出如何讓多個Kafka消費者同時消費相同Topic下的相同Partition的數(shù)據(jù)就可以了。

為了能夠回答好這個問題，我們需要理解Kafka中的一個概念，就是 消費者組（Consumer Group）。消費者組是Kafka實現(xiàn)單播和廣播兩種消息模型的基礎(chǔ)和手段。對于同一個Topic（主題）來說，每個消費者組都可以拿到這個Topic中的全部數(shù)據(jù)。消費者組內(nèi)的所有消費者協(xié)調(diào)在一起來訂閱并消費Kafka Topic中的所有分區(qū)。這里，每個分區(qū)只能由同一個消費者組內(nèi)的一個消費者來消費。

這里，為了更好的理解，我們簡單的畫一張Kafka消費消息的原理圖，如下所示。

在這張圖中，一個主題可以配置幾個分區(qū)，生產(chǎn)者發(fā)送的消息分發(fā)到不同的分區(qū)中，消費者接收數(shù)據(jù)的時候是按照消費者組來接收的，Kafka確保每個分區(qū)的消息只能被同一個消費者組中的同一個消費者消費，如果想要重復(fù)消費，那么需要其他的消費者組來消費。Zookeerper中保存每個主題下的每個分區(qū)在每個消費者組中消費的offset。

新版kafka把這個offset保存到了一個__consumer_offsert的主題下。?這個__consumer_offsert有50個分區(qū)，通過將消費者組的id哈希值P的值來確定要保存到那一個分區(qū)。這樣也是為了考慮到Zookeeper不擅長大量數(shù)據(jù)讀寫的原因。

所以，如果要一個消費者組用幾個消費者來同時消費Kafka中消息的話，需要多線程來讀取，一個線程相當(dāng)于一個消費者實例。當(dāng)消費者的數(shù)量大于分區(qū)的數(shù)量時，有些消費者線程會讀取不到數(shù)據(jù)。

擴(kuò)展知識

這里，我們舉一個例子：假設(shè)一個主題 test 被groupA消費了，現(xiàn)在啟動另外一個新的groupB來消費test，默認(rèn)test-groupB的Offset不是0，而是還是在Kafka中還沒有建立這樣的一個Offset，除非當(dāng)test主題有數(shù)據(jù)的時候，groupB會收到該數(shù)據(jù)，該條數(shù)據(jù)也是第一條數(shù)據(jù)，此時，groupB的Offset也是剛初始化的Offset, 除非用顯式的用–from-beginning 來獲取從0開始的數(shù)據(jù)。

題目解答

多個Kafka消費者要想同時消費相同Topic下的相同Partition的數(shù)據(jù)，則需要將這些Kafka消費者放到不同的消費者組中。