www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 公眾號(hào)精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]一、背景介紹網(wǎng)關(guān)作為微服務(wù)生態(tài)中的重要一環(huán),由于歷史原因,中間件團(tuán)隊(duì)沒有統(tǒng)一的微服務(wù)API網(wǎng)關(guān),為此準(zhǔn)備技術(shù)預(yù)研打造一個(gè)功能齊全、可用性高的業(yè)務(wù)網(wǎng)關(guān)。二、技術(shù)選型常見的開源網(wǎng)關(guān)按照語言分類有如下幾類:NginxLua:OpenResty、Kong等;Java:Zuul1/Zuul...

一、背景介紹


網(wǎng)關(guān)作為微服務(wù)生態(tài)中的重要一環(huán),由于歷史原因,中間件團(tuán)隊(duì)沒有統(tǒng)一的微服務(wù)API網(wǎng)關(guān),為此準(zhǔn)備技術(shù)預(yù)研打造一個(gè)功能齊全、可用性高的業(yè)務(wù)網(wǎng)關(guān)。



二、技術(shù)選型


常見的開源網(wǎng)關(guān)按照語言分類有如下幾類:

  • Nginx Lua:OpenResty、Kong 等;

  • Java:Zuul1/Zuul2、Spring Cloud Gateway、gravitee-gateway、Dromara Soul 等;

  • Go:janus、GoKu API Gateway 等;

  • Node.js:Express Gateway、

    MicroGateway 等。


由于團(tuán)隊(duì)內(nèi)成員基本上為Java技術(shù)棧,因此并不打算深入研究非Java語言的網(wǎng)關(guān)。接下來我們主要調(diào)研了Zuul1、Zuul2、Spring Cloud Gateway、Dromara Soul。


業(yè)界主流的網(wǎng)關(guān)基本上可以分為下面三種:

  • Servlet 線程池

  • NIO(Tomcat / Jetty) Servlet 3.0 異步

  • NettyServer NettyClient


在進(jìn)行技術(shù)選型的時(shí)候,主要考慮功能豐富度、性能、穩(wěn)定性。在反復(fù)對(duì)比之后,決定選擇基于Netty框架進(jìn)行網(wǎng)關(guān)開發(fā);但是考慮到時(shí)間的緊迫性,最終選擇為針對(duì) Zuul2 進(jìn)行定制化開發(fā),在 Zuul2 的代碼骨架之上去完善網(wǎng)關(guān)的整個(gè)體系。



三、Zuul2 介紹


接下來我們簡(jiǎn)要介紹一下 Zuul2 關(guān)鍵知識(shí)點(diǎn)。


Zuul2 的架構(gòu)圖:

vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


為了解釋上面這張圖,接下來會(huì)分別介紹幾個(gè)點(diǎn)


  • 如何解析 HTTP 協(xié)議

  • Zuul2 的數(shù)據(jù)流轉(zhuǎn)

  • 兩個(gè)責(zé)任鏈:Netty ChannelPipeline責(zé)任鏈 Filter責(zé)任鏈


3.1 如何解析 HTTP 協(xié)議


學(xué)習(xí)Zuul2需要一定的鋪墊知識(shí),比如:Google Guice、RxJava、Netflix archaius等,但是更關(guān)鍵的應(yīng)該是:如何解析HTTP協(xié)議,會(huì)影響到后續(xù)Filter責(zé)任鏈的原理解析,為此先分析這個(gè)關(guān)鍵點(diǎn)。


首先我們介紹官方文檔中的一段話:

By default Zuul doesn't buffer body content, meaning it streams the received headers to the origin before the body has been received.

This streaming behavior is very efficient and desirable, as long as your filter logic depends on header data.


翻譯成中文:

默認(rèn)情況下Zuul2并不會(huì)緩存請(qǐng)求體,也就意味著它可能會(huì)先發(fā)送接收到的請(qǐng)求Headers到后端服務(wù),之后接收到請(qǐng)求體再繼續(xù)發(fā)送到后端服務(wù),發(fā)送請(qǐng)求體的時(shí)候,也不是組裝為一個(gè)完整數(shù)據(jù)之后才發(fā),而是接收到一部分,就轉(zhuǎn)發(fā)一部分。


這個(gè)流式行為是高效的,只要Filter過濾的時(shí)候只依賴Headers的數(shù)據(jù)進(jìn)行邏輯處理,而不需要解析RequestBody。


上面這段話映射到Netty Handler中,則意味著Zuul2并沒有使用HttpObjectAggregator。


我們先看一下常規(guī)的Netty Server處理HTTP協(xié)議的樣例:


NettyServer樣例

@Slf4jpublic class ConfigServerBootstrap { public static final int WORKER_THREAD_COUNT = Runtime.getRuntime().availableProcessors(); public void start(){ int port = 8080; EventLoopGroup bossGroup = new NioEventLoopGroup(1); EventLoopGroup workerGroup = new NioEventLoopGroup(WORKER_THREAD_COUNT); final BizServerHandler bizServerHandler = new BizServerHandler(); try { ServerBootstrap serverBootstrap = new ServerBootstrap(); serverBootstrap.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(new ChannelInitializer() { @Override protected void initChannel(Channel ch) throws Exception { ChannelPipeline pipeline = ch.pipeline(); pipeline.addLast(new IdleStateHandler(10, 10, 0)); pipeline.addLast(new HttpServerCodec()); pipeline.addLast(new HttpObjectAggregator(500 * 1024 * 1024)); pipeline.addLast(bizServerHandler); } }); log.info("start netty server, port:{}", port); serverBootstrap.bind(port).sync(); } catch (InterruptedException e) { bossGroup.shutdownGracefully(); workerGroup.shutdownGracefully(); log.error(String.format("start netty server error, port:%s", port), e); } }}

這個(gè)例子中的兩個(gè)關(guān)鍵類為:HttpServerCodec、HttpObjectAggregator。


HttpServerCodec是HttpRequestDecoder、HttpResponseEncoder的組合器。


  • HttpRequestDecoder職責(zé):將輸入的ByteBuf解析成HttpRequest、HttpContent對(duì)象。

  • HttpResponseEncoder職責(zé):

    將HttpResponse、HttpContent對(duì)象轉(zhuǎn)換為ByteBuf,進(jìn)行網(wǎng)絡(luò)二進(jìn)制流的輸出。


HttpObjectAggregator的作用:組裝HttpMessage、HttpContent為一個(gè)完整的FullHttpRequest或者FullHttpResponse。


當(dāng)你不想關(guān)心chunked分塊傳輸?shù)臅r(shí)候,使用HttpObjectAggregator是非常有用的。


HTTP協(xié)議通常使用Content-Length來標(biāo)識(shí)body的長度,在服務(wù)器端,需要先申請(qǐng)對(duì)應(yīng)長度的buffer,然后再賦值。如果需要一邊生產(chǎn)數(shù)據(jù)一邊發(fā)送數(shù)據(jù),就需要使用"Transfer-Encoding: chunked" 來代替Content-Length,也就是對(duì)數(shù)據(jù)進(jìn)行分塊傳輸。


接下來我們看一下Zuul2為了解析HTTP協(xié)議做了哪些處理。


Zuul的源碼:https://github.com/Netflix/zuul,基于v2.1.5。

// com.netflix.zuul.netty.server.BaseZuulChannelInitializer#addHttp1Handlersprotected void addHttp1Handlers(ChannelPipeline pipeline) { pipeline.addLast(HTTP_CODEC_HANDLER_NAME, createHttpServerCodec()); pipeline.addLast(new Http1ConnectionCloseHandler(connCloseDelay)); pipeline.addLast("conn_expiry_handler", new Http1ConnectionExpiryHandler(maxRequestsPerConnection, maxRequestsPerConnectionInBrownout, connectionExpiry));}

// com.netflix.zuul.netty.server.BaseZuulChannelInitializer#createHttpServerCodecprotected HttpServerCodec createHttpServerCodec() { return new HttpServerCodec( MAX_INITIAL_LINE_LENGTH.get(), MAX_HEADER_SIZE.get(), MAX_CHUNK_SIZE.get(), false );}

通過對(duì)比上面的樣例發(fā)現(xiàn),Zuul2并沒有添加HttpObjectAggregator,也就是需要自行去處理chunked分塊傳輸問題、自行組裝請(qǐng)求體數(shù)據(jù)。


為了解決上面說的chunked分塊傳輸問題,Zuul2通過判斷是否LastHttpContent,來判斷是否接收完成。


3.2 Zuul2 數(shù)據(jù)流轉(zhuǎn)


vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


如上圖所示,Netty自帶的HttpServerCodec會(huì)將網(wǎng)絡(luò)二進(jìn)制流轉(zhuǎn)換為Netty的HttpRequest對(duì)象,再通過ClientRequestReceiver編解碼器將HttpRequest轉(zhuǎn)換為Zuul的請(qǐng)求對(duì)象HttpRequestMessageImpl;


請(qǐng)求體RequestBody在Netty自帶的HttpServerCodec中被映射為HttpContent對(duì)象,ClientRequestReceiver編解碼器依次接收HttpContent對(duì)象。


完成了上述數(shù)據(jù)的轉(zhuǎn)換之后,就流轉(zhuǎn)到了最重要的編解碼ZuulFilterChainHandler,里面會(huì)執(zhí)行Filter鏈,也會(huì)發(fā)起網(wǎng)絡(luò)請(qǐng)求到真正的后端服務(wù),這一切都是在ZuulFilterChainHandler中完成的。


得到了后端服務(wù)的響應(yīng)結(jié)果之后,也經(jīng)過了Outbound Filter的過濾,接下來就是通過ClientResponseWriter把Zuul自定義的響應(yīng)對(duì)象HttpResponseMessageImpl轉(zhuǎn)換為Netty的HttpResponse對(duì)象,然后通過HttpServerCodec轉(zhuǎn)換為ByteBuf對(duì)象,發(fā)送網(wǎng)絡(luò)二進(jìn)制流,完成響應(yīng)結(jié)果的輸出。


這里需要特別說明的是:由于Zuul2默認(rèn)不組裝一個(gè)完整的請(qǐng)求對(duì)象/響應(yīng)對(duì)象,所以Zuul2是分別針對(duì)請(qǐng)求頭 請(qǐng)求Headers、請(qǐng)求體進(jìn)行Filter過濾攔截的,也就是說對(duì)于請(qǐng)求,會(huì)走兩遍前置Filter鏈,對(duì)于響應(yīng)結(jié)果,也是會(huì)走兩遍后置Filter鏈攔截。


3.3? 兩個(gè)責(zé)任鏈


3.3.1?Netty ChannelPipeline責(zé)任鏈


Netty的ChannelPipeline設(shè)計(jì),通過往ChannelPipeline中動(dòng)態(tài)增減Handler進(jìn)行定制擴(kuò)展。


接下來看一下Zuul2 Netty Server中的pipeline有哪些Handler?


vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


接著繼續(xù)看一下Zuul2 Netty Client的Handler有哪些?


vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


本文不針對(duì)具體的Handler進(jìn)行詳細(xì)解釋,主要是給大家一個(gè)整體的視圖。


3.3.2?Filter責(zé)任鏈


vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


請(qǐng)求發(fā)送到Netty Server中,先進(jìn)行Inbound Filters的攔截處理,接著會(huì)調(diào)用Endpoint Filter,這里默認(rèn)為ProxyEndPoint(里面封裝了Netty Client),發(fā)送請(qǐng)求到真實(shí)后端服務(wù),獲取到響應(yīng)結(jié)果之后,再執(zhí)行Outbound Filters,最終返回響應(yīng)結(jié)果。


三種類型的Filter之間是通過nextStage屬性來銜接的。


Zuul2存在一個(gè)定時(shí)任務(wù)線程GroovyFilterFileManagerPoller,定期掃描特定的目錄,通過比對(duì)文件的更新時(shí)間戳,來判斷是否發(fā)生變化,如果有變化,則重新編譯并放入到內(nèi)存中。


通過定位任務(wù)實(shí)現(xiàn)了Filter的動(dòng)態(tài)加載。



四、功能介紹


上面介紹了Zuul2的部分知識(shí)點(diǎn),接下來介紹網(wǎng)關(guān)的整體功能。


vivo億級(jí)微服務(wù)?API?網(wǎng)關(guān)架構(gòu)實(shí)踐


4.1?服務(wù)注冊(cè)發(fā)現(xiàn)


網(wǎng)關(guān)承擔(dān)了請(qǐng)求轉(zhuǎn)發(fā)的功能,需要一定的方法用于動(dòng)態(tài)發(fā)現(xiàn)后端服務(wù)的機(jī)器列表。


這里提供兩種方式進(jìn)行服務(wù)的注冊(cè)發(fā)現(xiàn):


集成網(wǎng)關(guān)SDK

  • 網(wǎng)關(guān)SDK會(huì)在服務(wù)啟動(dòng)之后,監(jiān)聽ContextRefreshedEvent事件,主動(dòng)操作zk登記信息到zookeeper注冊(cè)中心,這樣網(wǎng)關(guān)服務(wù)、網(wǎng)關(guān)管理后臺(tái)就可以訂閱節(jié)點(diǎn)信息。


  • 網(wǎng)關(guān)SDK添加了ShutdownHook,在服務(wù)下線的時(shí)候,會(huì)刪除登記在zk的節(jié)點(diǎn)信息,用于通知網(wǎng)關(guān)服務(wù)、網(wǎng)關(guān)管理后臺(tái),節(jié)點(diǎn)已下線。


手工配置服務(wù)的機(jī)器節(jié)點(diǎn)信息

  • 在網(wǎng)關(guān)管理后臺(tái),手工添加、刪除機(jī)器節(jié)點(diǎn)。

  • 在網(wǎng)關(guān)管理后臺(tái),手工設(shè)置節(jié)點(diǎn)上線、節(jié)點(diǎn)下線操。


為了防止zookeeper故障,網(wǎng)關(guān)管理后臺(tái)已提供HTTP接口用于注冊(cè)、取消注冊(cè)作為兜底措施。


4.2?動(dòng)態(tài)路由


動(dòng)態(tài)路由分為:機(jī)房就近路由、灰度路由(類似于Dubbo的標(biāo)簽路由功能)。


  • 機(jī)房就近路由:請(qǐng)求最好是不要跨機(jī)房,比如請(qǐng)求打到網(wǎng)關(guān)服務(wù)的X機(jī)房,那么也應(yīng)該是將請(qǐng)求轉(zhuǎn)發(fā)給X機(jī)房的后端服務(wù)節(jié)點(diǎn),如果后端服務(wù)不存在X機(jī)房的節(jié)點(diǎn),則請(qǐng)求到其他機(jī)房的節(jié)點(diǎn)。


  • 灰度路由:類似于Dubbo的標(biāo)簽路由功能,如果希望對(duì)后端服務(wù)節(jié)點(diǎn)進(jìn)行分組隔離,則需要給后端服務(wù)一個(gè)標(biāo)簽名,建立"標(biāo)簽名→節(jié)點(diǎn)列表"的映射關(guān)系,請(qǐng)求方攜帶這個(gè)標(biāo)簽名,請(qǐng)求到相應(yīng)的后端服務(wù)節(jié)點(diǎn)。


網(wǎng)關(guān)管理后臺(tái)支持動(dòng)態(tài)配置路由信息,動(dòng)態(tài)開啟/關(guān)閉路由功能。


4.3 負(fù)載均衡


當(dāng)前支持的負(fù)載均衡策略:加權(quán)隨機(jī)算法、加權(quán)輪詢算法、一致性哈希算法。


可以通過網(wǎng)關(guān)管理后臺(tái)動(dòng)態(tài)調(diào)整負(fù)載均衡策略,支持API接口級(jí)別、應(yīng)用級(jí)別的配置。


負(fù)載均衡機(jī)制并未采用Netflix Ribbon,而是仿造Dubbo負(fù)載均衡的算法實(shí)現(xiàn)的。


4.4 動(dòng)態(tài)配置


API網(wǎng)關(guān)支持一套自洽的動(dòng)態(tài)配置功能,在不依賴第三方配置中心的條件下,仍然支持實(shí)時(shí)調(diào)整配置項(xiàng),并且配置項(xiàng)分為全局配置、應(yīng)用級(jí)別治理配置、API接口級(jí)別治理配置。


在自洽的動(dòng)態(tài)配置功能之外,網(wǎng)關(guān)服務(wù)也與公司級(jí)別的配置中心進(jìn)行打通,支持公司級(jí)配置中心配置相應(yīng)的配置項(xiàng)。


4.5 API管理


API管理支持網(wǎng)關(guān)SDK自動(dòng)掃描上報(bào),也支持在管理后臺(tái)手工配置。


4.6 協(xié)議轉(zhuǎn)換


后端的服務(wù)有很多是基于Dubbo框架的,網(wǎng)關(guān)服務(wù)支持HTTP→HTTP的請(qǐng)求轉(zhuǎn)發(fā),也支持HTTP→Dubbo的協(xié)議轉(zhuǎn)換。


同時(shí)C 技術(shù)棧,采用了tars框架,網(wǎng)關(guān)服務(wù)也支持HTTP → tras協(xié)議轉(zhuǎn)換。


4.7 安全機(jī)制


API網(wǎng)關(guān)提供了IP黑白名單、OAuth認(rèn)證授權(quán)、appKey
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉