別人家的團隊怎么用RabbitMQ:我總結的5點規(guī)范
大概從 2013 年開始,我就開始了自己和 RabbitMQ 的接觸,到現(xiàn)在已經(jīng)有七年多了。
在這七年中,既有一些對 RabbitMQ 的深度體驗,更有無數(shù)的血淚史。
而根據(jù)我這么多年的使用經(jīng)驗,我將 RabbitMQ 的心得形成一些提醒或者規(guī)范分享給大家,這樣,大家以后使用 RabbitMQ 的時候,就不會再走我走過的彎路了。
我想把我這些關于 RabbitMQ 的經(jīng)驗和心得,分成三篇來寫:
- 開發(fā)前的規(guī)范;
- 開發(fā)中的注意事項;
- 以及 MQ 本身的優(yōu)化。
這次咱們先從開發(fā)前的規(guī)范開始談起。
我曾經(jīng)一直都很奇怪,為何大家使用開發(fā)語言有開發(fā)規(guī)范,使用數(shù)據(jù)庫有數(shù)據(jù)庫規(guī)范,但是使用 MQ 卻很少見一些規(guī)范。
使用 MQ 缺少規(guī)范,這是普遍的問題?還只是我身邊的個例?
不管答案是哪個,在 RabbitMQ 使用時,為了避免在開發(fā)中少出現(xiàn)問題,為了事半功倍,都需要提前規(guī)范好一些配置和事項。
1. 一個 RabbitMQ 應用里建立多個 vhost,去對應不同的開發(fā)項目
我們在使用數(shù)據(jù)庫的時候,會在一個數(shù)據(jù)庫應用里建立多個不同的數(shù)據(jù)庫去給不同的項目使用,而不用在不同的服務器專門每個項目都安裝個數(shù)據(jù)庫應用。
在 RabbitMQ 的 vhost,也是類似的理念。
vhost 本質上是一個 mini 版的 RabbitMQ 服務器,擁有自己的隊列、綁定、交換器和權限控制,當在 RabbitMQ 中創(chuàng)建一個用戶時,用戶通常會被指派給至少一個 vhost,并且只能訪問被指派 vhost 內的隊列、交換器和綁定,vhost 之間是絕對隔離的。
所以,不同的 vhost 對應不同的項目,互不影響,而這些 vhost 其實都是在一臺主機一個 RabbitMQ 應用上。
但是,現(xiàn)在的狀況是大部分使用 RabbitMQ 的技術團隊往往就使用默認的 vhost:“/”,如果多出一個項目了,就再去創(chuàng)建一個 RabbitMQ 的進程。這樣做,非常浪費開發(fā)資源。
推薦一個項目對應一個 vhost。
2. 不直接使用 RabbitMQ 自己的客戶端
很多公司使用 RabbitMQ 都是直接使用 RabbitMQ 自己的 java 版本客戶端,但是由于 RabbitMQ 本身內在的復雜性和多樣性,有很多技術細節(jié)需要獨自處理。
比如網(wǎng)絡連接的處理,比如異常的處理,比如消息失敗的處理等等等。這些,如果手頭沒有一套成熟的框架,那么很可能由于一些細節(jié)處理不到位,導致非常多的問題,這都是不必要的成本。
所以,要么使用一套已有的 RabbitMQ 客戶端框架(比如 Spring 的 RabbitMQ 框架),要么自己封裝出一套底層 RabbitMQ 客戶端框架,而不是單獨使用 RabbitMQ 的客戶端
3. 無論如何消費者必須給回 ACK 響應
ACK 機制就是消費者從 RabbitMQ 收到消息并處理完成后,反饋給 RabbitMQ,然后 RabbitMQ 收到反饋后才將此消息從隊列中刪除。
由于 ACK 機制本身必須回復給 RabbitMQ,消息才會丟棄這個特點。對于何時給 ACK,我們做開發(fā)的時候一定要在開發(fā)項目前提前規(guī)劃好、設計好。
我們使用 RabbitMQ 通常不想在收到消息就立即給回 ACK 的,也不會設置 autoACK 機制即消費端收到自動返回一個 ACK 響應。一般來講,我們都會根據(jù)業(yè)務邏輯的不同,會在不同的位置手動返回 ACK。
這時候,就可能出現(xiàn)問題:當收到消息,有時候處理業(yè)務邏輯報錯了,往往在處理完業(yè)務邏輯就會忽略 ACK,這會導致消息始終卡死在 queue 里……如果數(shù)量越來越多,后續(xù)處理非常麻煩。
4. 考慮設置 dead letter exchanges
為什么那么多人不設置 dead letter exchanges?這是我非常疑惑的點。
出去和各類使用 RabbitMQ 的項目團隊交流,發(fā)現(xiàn)很少人設置了 dead letter exchanges。這個是有問題的。
我們得知道,有時候消息投遞出錯,并不總是在應用接收的時候出了問題,會有很多非應用的問題。比如:
-
消費端有問題,發(fā)出的消息被拒絕了。并且我們也設置了 requeue=false;
-
消息可能因為沒有收到 ACK 超時被刪除,或者消費端消費速度跟不上導致消息超時被刪除;
-
消息數(shù)量超過了隊列最大長度限制被拋棄;
-
消息總大小超過了隊列消息總大小限制被拋棄。
對于這些問題,設置 dead letter exchanges 算是一個解決辦法。
當消息一旦出現(xiàn)我上面列舉出來的情況,就會被發(fā)送到我們設置的 dead letter exchanges。然后我們就可以對這些特殊情況的消息進行單獨處理,這樣的做法可以讓我們的項目更健壯,更容易追蹤問題。
5. 盡量使用 Direct Exchange
RabbitMQ 的Exchange 就是消息交換機,它指定消息按什么規(guī)則,路由到哪個隊列。
這家伙有四種類型:
-
Direct:處理路由鍵,需要將一個隊列綁定到交換機上,要求該消息與一個特定的路由鍵完全匹配。這是一個完整的匹配。如果一個隊列綁定到該交換機上要求路由鍵為“green”,則只有路由鍵為“green”的消息才被轉發(fā),不會轉發(fā)路由鍵為"red",只會轉發(fā)路由鍵為“green”。
-
Topic:將路由鍵和某模式進行匹配。此時隊列需要綁定要一個模式上。符號“#”匹配一個或多個詞,符號“*”只能匹配一個詞。
-
Fanout:不處理路由鍵。你只需要簡單的將隊列綁定到交換機上。一個發(fā)送到該類型交換機的消息都會被廣播到與該交換機綁定的所有隊列上。
-
Headers:不處理路由鍵,而是根據(jù)發(fā)送的消息內容中的 headers 屬性進行匹配。在綁定 Queue 與 Exchange 時指定一組鍵值對;當消息發(fā)送到 RabbitMQ 時會取到該消息的 headers 與 Exchange 綁定時指定的鍵值對進行匹配;如果完全匹配則消息會路由到該隊列,否則不會路由到該隊列。
在這四種類型里,Direct 類型的 Exchange 投遞消息是最快的。其他的 Exchange,MQ 還得花時間計算投遞的位置。
所以,能使用 Direct 類型的建議使用 Direct。
以上就是在使用 RabbitMQ 前,需要考慮使用的規(guī)范,有了這些規(guī)范,很多程序員就能據(jù)此寫出比較穩(wěn)定健壯的程序,而不會導致各種莫名其妙的問題。
強烈建議大家在團隊使用之前,先弄一份規(guī)范。否則,如果很多程序員使用 RabbitMQ 非常隨意,容易導致出現(xiàn)各種幺蛾子問題。
在下一篇文章里,我將寫一些開發(fā)中需要注意的事項。
雖說是開發(fā)需要注意的事項,其實就是我在開發(fā)一套成熟的 RabbitMQ 客戶端框架時,碰到的各種問題的總結。如果有些讀者所在的開發(fā)團隊恰好也有類似的經(jīng)歷,那么我說的所有問題,你會發(fā)現(xiàn)你可能都會遇到。
免責聲明:本文內容由21ic獲得授權后發(fā)布,版權歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!