www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導讀]前言好久沒有分享文件IO的小技巧了,依稀記得上次分享還是在上次。第二屆云原生編程挑戰(zhàn)賽正在火熱進行中,Kirito也在做《針對冷熱讀寫場景的RocketMQ存儲系統(tǒng)設計》這個題目,不過參與的是內(nèi)部賽道,沒法跟外部的小伙伴們一起排名了。眾所周知,存儲設計離不開文件IO,將數(shù)據(jù)存儲到...

前言

好久沒有分享文件 IO 的小技巧了,依稀記得上次分享還是在上次。

第二屆云原生編程挑戰(zhàn)賽正在火熱進行中,Kirito 也在做《針對冷熱讀寫場景的RocketMQ存儲系統(tǒng)設計》這個題目,不過參與的是內(nèi)部賽道,沒法跟外部的小伙伴們一起排名了。

眾所周知,存儲設計離不開文件 IO,將數(shù)據(jù)存儲到文件中進行持久化,是大多數(shù)消息隊列、數(shù)據(jù)庫系統(tǒng)的常規(guī)操作。在比賽中,為了更貼近實際的生產(chǎn)場景,往往也會引入正確性檢測階段,以避免讓選手設計一些僅僅支持內(nèi)存行為的代碼邏輯。試想一下,RocketMQ 或者 Mysql 在宕機之后因為索引丟失,而導致數(shù)據(jù)無法查詢,這該是多么可怕的一件事!

正確性檢測要求我們寫入的數(shù)據(jù)能夠被查詢出來,沒有丟失,按照我個人的參賽經(jīng)驗,通常分為三種級別

  • 進程正常退出或者進程被 kill -15 中斷
  • 進程被 kill -9 中斷
  • 系統(tǒng)掉電
第一個級別,進程正常退出或者進程被 kill -15 中斷,該場景沒有什么好講的,一般評測程序會留出 destroyclose 等回調(diào)接口,用于顯式關(guān)閉,或者在 Java 中使用 JVM 提供的 ShutdownHook 監(jiān)聽 -15 信號,這是最簡單的一種場景,一般不需要考慮數(shù)據(jù)一致性的問題。在實際生產(chǎn)中,對應我們優(yōu)雅退出、手動關(guān)機的流程。

第二個級別,進程被 kill -9 中斷。這意味著,我們使用內(nèi)存去聚合一些數(shù)據(jù)可能是受限的,但我們?nèi)匀豢梢岳貌僮飨到y(tǒng)的一些特性,例如 PageCache 去做緩存。畢竟進程掛了,機器可沒掛。在實際生產(chǎn)中,對應我們遇到一些內(nèi)存溢出、FullGC 重啟進程等暴力退出程序的場景。

第三個級別,系統(tǒng)掉電。這也是我這篇文章的主角,同時也是數(shù)據(jù)一致性要求最高的級別。系統(tǒng)掉電意味著我們甚至連 PageCache 都不能直接利用,必須嚴格保證數(shù)據(jù)落到磁盤當中。在實際生產(chǎn)中,對應主機宕機,機房斷電等場景。

可以發(fā)現(xiàn),任何一個級別,都有他們實際應用的場景,越是一致性要求高的級別,通常性能就越差,能夠利用的手段也越少,系統(tǒng)也就越難設計。

而這次比賽的正確性描述

  1. 寫入若干條數(shù)據(jù)。
  2. 重啟機器
  3. 再讀出來,必須嚴格等于之前寫入的數(shù)據(jù)
其中的重啟機器環(huán)節(jié),恰恰是模擬的掉電。

如何理解數(shù)據(jù)不丟失

在介紹 Java 文件 IO 中保證掉電不丟失的手段之前,我還需要做一個概念的介紹,這樣方便我們更好的理解文章后續(xù)的觀點。

很多同學可能有疑惑,如果一個數(shù)據(jù)寫到一半,發(fā)生了掉電,那評測程序怎么知道這條數(shù)據(jù)落盤了沒有呢?評測程序會不會讀取這條數(shù)據(jù)呢?其實,對于”執(zhí)行到一半“這種邏輯,誰都沒有辦法保證,正如系統(tǒng)真正掉電時,他可不會跟你商量。所以,在一般的評測中,去驗證選手的數(shù)據(jù)一致性時,通常采取的做法是:當一個方法同步返回時,就應該認為這個數(shù)據(jù)落盤了,即使返回后立刻斷電,也應該可以在重啟之后,查詢到這條數(shù)據(jù)。

這符合我們在實際開發(fā)/生產(chǎn)場景的認知:

  • 對于同步方法,其實隱含了 ack 的契約,即拿到返回值的那一瞬間,認為對方處理完畢了。
  • 對于異步方法,我們才需要增加回調(diào)或者輪詢 ack 的機制。

Java 文件 IO 保障掉電不丟數(shù)據(jù)

在《文件 IO 操作的一些最佳實踐》一文中,我其實已經(jīng)介紹了,Java 中無非就一個 FileChannel 是最常用的文件操作類。FileChannelwrite 方法看似是一個同步方法,將內(nèi)存數(shù)據(jù)寫入了磁盤,但其實它和磁盤之間還隔著一層 PageCache。

文件?IO?中如何保證掉電不丟失數(shù)據(jù)?
PageCache
盡管操作系統(tǒng)可能很快就將 PageCache 刷入到了磁盤,但這個過程仍然是一個異步的過程。就以這次比賽而言,如果你僅僅數(shù)據(jù)寫入到 PageCache 就不管不問了,肯定是無法通過正確性檢測的。

解決方法也很簡單,調(diào)用 FileChannel#force(boolean meta) 方法即可,該方法會強制操作系統(tǒng)將 PageCache 刷盤。

force 的入?yún)⑹且粋€ boolean 值,代表是否將元數(shù)據(jù)也刷盤,這塊網(wǎng)上資料比較少,我也沒有詳細的依據(jù)。按照我個人的理解,元數(shù)據(jù)包含了大小和時間戳信息,可能會影響文件的實際長度,所以 force(true) 可能更穩(wěn)妥一些。

結(jié)合第二節(jié)中介紹的內(nèi)容,我們只需要保證在每次寫入操作返回之前,調(diào)用 force,即可實現(xiàn)掉電數(shù)據(jù)不丟失的效果。

那么,代價是什么呢?意味著我們完全喪失了操作系統(tǒng)給文件 IO 設置的一道緩存。在沒有緩存又沒有 4kb 對齊的情況下,寫入放大問題將會非常明顯。

這里用一份數(shù)據(jù)說話,根據(jù)官方給出的數(shù)據(jù),這次評測使用的 SSD 吞吐可達到 320MiB/s,而我實測在不經(jīng)過優(yōu)化的場景下使用 force,僅僅能達到 50 Mib/s,直接會導致評測超時。

force 是掉電的拯救者,也可能是性能的毀滅者。

force 下可能的優(yōu)化方案

在實際場景中,消息的生產(chǎn)者可能會同步地連續(xù)地發(fā)送多條消息,也有可能會有多個生產(chǎn)者一起在發(fā)送消息,盡管消息的投遞是同步的,但我們?nèi)匀豢梢栽诙鄠€不同生產(chǎn)者的消息之間做一些文章,在保證 force 的同時,減少寫入放大的問題。

鑒于比賽還在進行中,我就不過多聊詳細設計了,懂的應該看到上面這段話都懂了,還算是比較基礎的優(yōu)化。我在優(yōu)化過后,可以保證在 force 的前提下,將吞吐量從 50 Mib/s 提升到 275 Mib/s,盡管離理論值還是有所差距,但已經(jīng)足夠出一個 baseline 了。

RocketMQ 中的實際應用

以 RocketMQ 為例,聊聊其是如何保障數(shù)據(jù)不丟失的。RocketMQ 在 Broker 側(cè)保障數(shù)據(jù)不丟失主要有兩種機制:

  1. RocketMQ 支持配置同步雙寫,保障消息在主節(jié)點之外,還在一個從節(jié)點有備份
  2. RocketMQ 支持同步刷盤策略,即本文介紹的 FileChannel#force(boolean meta) ?方案

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉