www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁 > 嵌入式 > 嵌入式軟件
[導(dǎo)讀]IO系統(tǒng)衡量性能的幾個指標(biāo)

作為一個數(shù)據(jù)庫管理員,關(guān)注系統(tǒng)的性能是日常最重要的工作之一,而在所關(guān)注的各方面的性能只能IO性能卻是最令人頭痛的一塊,面對著各種生澀的參數(shù)和令人眼花繚亂的新奇的術(shù)語,再加上存儲廠商的忽悠,總是讓我們有種云里霧里的感覺。本系列文章試圖從基本概念開始對磁盤存儲相關(guān)的各種概念進(jìn)行綜合歸納,讓大家能夠?qū)O性能相關(guān)的基本概念,IO性能的監(jiān)控和調(diào)整有個比較全面的了解。

  在這一部分里我們先舍棄各種結(jié)構(gòu)復(fù)雜的存儲系統(tǒng),直接研究一個單獨(dú)的磁盤的性能問題,藉此了解各個衡量IO系統(tǒng)系能的各個指標(biāo)以及之間的關(guān)系。需要注意的是,本文探討的僅限于磁盤IO性能,網(wǎng)絡(luò)IO性能不考慮在內(nèi)。

  幾個基本的概念

  在研究磁盤性能之前我們必須先了解磁盤的結(jié)構(gòu),以及工作原理。不過在這里就不再重復(fù)說明了,關(guān)系硬盤結(jié)構(gòu)和工作原理的信息可以參考維基百科上面的相關(guān)詞條——Hard disk drive(英文)和硬盤驅(qū)動器(中文)。

  讀寫IO(Read/Write IO)操作

  磁盤是用來給我們存取數(shù)據(jù)用的,因此當(dāng)說到IO操作的時候,就會存在兩種相對應(yīng)的操作,存數(shù)據(jù)時候?qū)?yīng)的是寫IO操作,取數(shù)據(jù)的時候?qū)?yīng)的是是讀IO操作。

  單個IO操作

  當(dāng)控制磁盤的控制器接到操作系統(tǒng)的讀IO操作指令的時候,控制器就會給磁盤發(fā)出一個讀數(shù)據(jù)的指令,并同時將要讀取的數(shù)據(jù)塊的地址傳遞給磁盤,然后磁盤會將讀取到的數(shù)據(jù)傳給控制器,并由控制器返回給操作系統(tǒng),完成一個寫IO的操作;同樣的,一個寫IO的操作也類似,控制器接到寫的IO操作的指令和要寫入的數(shù)據(jù),并將其傳遞給磁盤,磁盤在數(shù)據(jù)寫入完成之后將操作結(jié)果傳遞回控制器,再由控制器返回給操作系統(tǒng),完成一個寫IO的操作。單個IO操作指的就是完成一個寫IO或者是讀IO的操作。

  隨機(jī)訪問(Random Access)與連續(xù)訪問(Sequential Access)

  隨機(jī)訪問指的是本次IO所給出的扇區(qū)地址和上次IO給出扇區(qū)地址相差比較大,這樣的話磁頭在兩次IO操作之間需要作比較大的移動動作才能重新開始讀/寫數(shù)據(jù)。相反的,如果當(dāng)次IO給出的扇區(qū)地址與上次IO結(jié)束的扇區(qū)地址一致或者是接近的話,那磁頭就能很快的開始這次IO操作,這樣的多個IO操作稱為連續(xù)訪問。因此盡管相鄰的兩次IO操作在同一時刻發(fā)出,但如果它們的請求的扇區(qū)地址相差很大的話也只能稱為隨機(jī)訪問,而非連續(xù)訪問。

  順序IO模式(Queue Mode)/并發(fā)IO模式(Burst Mode)

  磁盤控制器可能會一次對磁盤組發(fā)出一連串的IO命令,如果磁盤組一次只能執(zhí)行一個IO命令時稱為順序IO;當(dāng)磁盤組能同時執(zhí)行多個IO命令時,稱為并發(fā)IO。并發(fā)IO只能發(fā)生在由多個磁盤組成的磁盤組上,單塊磁盤只能一次處理一個IO命令。

  第2頁:單個IO的大小(IO Chunk Size)

  單個IO的大小(IO Chunk Size)

  熟悉數(shù)據(jù)庫的人都會有這么一個概念,那就是數(shù)據(jù)庫存儲有個基本的塊大小(Block Size),不管是SQL Server還是Oracle,默認(rèn)的塊大小都是8KB,就是數(shù)據(jù)庫每次讀寫都是以8k為單位的。那么對于數(shù)據(jù)庫應(yīng)用發(fā)出的固定8k大小的單次讀寫到了寫磁盤這個層面會是怎么樣的呢,就是對于讀寫磁盤來說單個IO操作操作數(shù)據(jù)的大小是多少呢,是不是也是一個固定的值?

  答案是不確定。首先操作系統(tǒng)為了提高 IO的性能而引入了文件系統(tǒng)緩存(File System Cache),系統(tǒng)會根據(jù)請求數(shù)據(jù)的情況將多個來自IO的請求先放在緩存里面,然后再一次性的提交給磁盤,也就是說對于數(shù)據(jù)庫發(fā)出的多個8K數(shù)據(jù)塊的讀操作有可能放在一個磁盤讀IO里就處理了。

  還有對于有些存儲系統(tǒng)也是提供了緩存(Cache)的,接收到操作系統(tǒng)的IO請求之后也是會將多個操作系統(tǒng)的 IO請求合并成一個來處理。不管是操作系統(tǒng)層面的緩存還是磁盤控制器層面的緩存,目的都只有一個,提高數(shù)據(jù)讀寫的效率。因此每次單獨(dú)的IO操作大小都是不一樣的,它主要取決于系統(tǒng)對于數(shù)據(jù)讀寫效率的判斷。

  當(dāng)一次IO操作大小比較小的時候我們成為小的IO操作,比如說1K,4K,8K這樣的;當(dāng)一次IO操作的數(shù)據(jù)量比較的的時候稱為大IO操作,比如說32K,64K甚至更大。

  在我們說到塊大小(Block Size)的時候通常我們會接觸到多個類似的概念,像我們上面提到的那個在數(shù)據(jù)庫里面的數(shù)據(jù)最小的管理單位,Oralce稱之為塊(Block),大小一般為8K,SQL Server稱之為頁(Page),一般大小也為8k。

  在文件系統(tǒng)里面我們也能碰到一個文件系統(tǒng)的塊,在現(xiàn)在很多的Linux系統(tǒng)中都是4K(通過 /usr/bin/time -v可以看到),它的作用其實(shí)跟數(shù)據(jù)庫里面的塊/頁是一樣的,都是為了方便數(shù)據(jù)的管理。但是說到單次IO的大小,跟這些塊的大小都是沒有直接關(guān)系的,在英文里單次IO大小通常被稱為是IO Chunk Size,不會說成是IO Block Size的。

  第3頁:IOPS(IO per Second)

  IOPS(IO per Second)

  IOPS,IO系統(tǒng)每秒所執(zhí)行IO操作的次數(shù),是一個重要的用來衡量系統(tǒng)IO能力的一個參數(shù)。對于單個磁盤組成的IO系統(tǒng)來說,計(jì)算它的IOPS不是一件很難的事情,只要我們知道了系統(tǒng)完成一次IO所需要的時間的話我們就能推算出系統(tǒng)IOPS來。

  現(xiàn)在我們就來推算一下磁盤的IOPS,假設(shè)磁盤的轉(zhuǎn)速(Rotational Speed)為15K RPM,平均尋道時間為5ms,最大傳輸速率為40MB/s(這里將讀寫速度視為一樣,實(shí)際會差別比較大)。

  對于磁盤來說一個完整的IO操作是這樣進(jìn)行的:當(dāng)控制器對磁盤發(fā)出一個IO操作命令的時候,磁盤的驅(qū)動臂(Actuator Arm)帶讀寫磁頭(Head)離開著陸區(qū)(Landing Zone,位于內(nèi)圈沒有數(shù)據(jù)的區(qū)域),移動到要操作的初始數(shù)據(jù)塊所在的磁道(Track)的正上方,這個過程被稱為尋址(Seeking),對應(yīng)消耗的時間被稱為尋址時間(Seek Time);但是找到對應(yīng)磁道還不能馬上讀取數(shù)據(jù),這時候磁頭要等到磁盤盤片(Platter)旋轉(zhuǎn)到初始數(shù)據(jù)塊所在的扇區(qū)(Sector)落在讀寫磁頭正上方的之后才能開始讀取數(shù)據(jù),在這個等待盤片旋轉(zhuǎn)到可操作扇區(qū)的過程中消耗的時間稱為旋轉(zhuǎn)延時(Rotational Delay);接下來就隨著盤片的旋轉(zhuǎn),磁頭不斷的讀/寫相應(yīng)的數(shù)據(jù)塊,直到完成這次IO所需要操作的全部數(shù)據(jù),這個過程稱為數(shù)據(jù)傳送(Data Transfer),對應(yīng)的時間稱為傳送時間(Transfer Time)。完成這三個步驟之后一次IO操作也就完成了。

  在我們看硬盤廠商的宣傳單的時候我們經(jīng)常能看到3個參數(shù),分別是平均尋址時間、盤片旋轉(zhuǎn)速度以及最大傳送速度,這三個參數(shù)就可以提供給我們計(jì)算上述三個步驟的時間。

  第一個尋址時間,考慮到被讀寫的數(shù)據(jù)可能在磁盤的任意一個磁道,既有可能在磁盤的最內(nèi)圈(尋址時間最短),也可能在磁盤的最外圈(尋址時間最長),所以在計(jì)算中我們只考慮平均尋址時間,也就是磁盤參數(shù)中標(biāo)明的那個平均尋址時間,這里就采用當(dāng)前最多的10krmp硬盤的5ms。

  第二個旋轉(zhuǎn)延時,和尋址一樣,當(dāng)磁頭定位到磁道之后有可能正好在要讀寫扇區(qū)之上,這時候是不需要額外額延時就可以立刻讀寫到數(shù)據(jù),但是最壞的情況確實(shí)要磁盤旋轉(zhuǎn)整整一圈之后磁頭才能讀取到數(shù)據(jù),所以這里我們也考慮的是平均旋轉(zhuǎn)延時,對于10krpm的磁盤就是(60s/15k)*(1/2) = 2ms。

  第三個傳送時間,磁盤參數(shù)提供我們的最大的傳輸速度,當(dāng)然要達(dá)到這種速度是很有難度的,但是這個速度卻是磁盤純讀寫磁盤的速度,因此只要給定了單次 IO的大小,我們就知道磁盤需要花費(fèi)多少時間在數(shù)據(jù)傳送上,這個時間就是IO Chunk Size / Max Transfer Rate。

  第4頁:IOPS計(jì)算公式[!--empirenews.page--]IOPS計(jì)算公式

 

  現(xiàn)在我們就可以得出這樣的計(jì)算單次IO時間的公式:

  IO Time = Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate

  于是我們可以這樣計(jì)算出IOPS

  IOPS = 1/IO Time = 1/(Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate)

  對于給定不同的IO大小我們可以得出下面的一系列的數(shù)據(jù)

  4K (1/7.1 ms = 140 IOPS)

  5ms + (60sec/15000RPM/2) + 4K/40MB = 5 + 2 + 0.1 = 7.1

  8k (1/7.2 ms = 139 IOPS)

  5ms + (60sec/15000RPM/2) + 8K/40MB = 5 + 2 + 0.2 = 7.2

  16K (1/7.4 ms = 135 IOPS)

  5ms + (60sec/15000RPM/2) + 16K/40MB = 5 + 2 + 0.4 = 7.4

  32K (1/7.8 ms = 128 IOPS)

  5ms + (60sec/15000RPM/2) + 32K/40MB = 5 + 2 + 0.8 = 7.8

  64K (1/8.6 ms = 116 IOPS)

  5ms + (60sec/15000RPM/2) + 64K/40MB = 5 + 2 + 1.6 = 8.6

  從上面的數(shù)據(jù)可以看出,當(dāng)單次IO越小的時候,單次IO所耗費(fèi)的時間也越少,相應(yīng)的IOPS也就越大。

  上面我們的數(shù)據(jù)都是在一個比較理想的假設(shè)下得出來的,這里的理想的情況就是磁盤要花費(fèi)平均大小的尋址時間和平均的旋轉(zhuǎn)延時,這個假設(shè)其實(shí)是比較符合我們實(shí)際情況中的隨機(jī)讀寫,在隨機(jī)讀寫中,每次IO操作的尋址時間和旋轉(zhuǎn)延時都不能忽略不計(jì),有了這兩個時間的存在也就限制了IOPS的大小?,F(xiàn)在我們考慮一種相對極端的順序讀寫操作,比如說在讀取一個很大的存儲連續(xù)分布在磁盤的的文件,因?yàn)槲募拇鎯Φ姆植际沁B續(xù)的,磁頭在完成一個讀IO操作之后,不需要從新的尋址,也不需要旋轉(zhuǎn)延時,在這種情況下我們能到一個很大的IOPS值,如下

  4K (1/0.1 ms = 10000 IOPS)

  0ms + 0ms + 4K/40MB = 0.1

  8k (1/0.2 ms = 5000 IOPS)

  0ms + 0ms + 8K/40MB = 0.2

  16K (1/0.4 ms = 2500 IOPS)

  0ms + 0ms + 16K/40MB = 0.4

  32K (1/0.8 ms = 1250 IOPS)

  0ms + 0ms + 32K/40MB = 0.8

  64K (1/1.6 ms = 625 IOPS)

  0ms + 0ms + 64K/40MB = 1.6

  相比第一組數(shù)據(jù)來說差距是非常的大的,因此當(dāng)我們要用IOPS來衡量一個IO系統(tǒng)的系能的時候我們一定要說清楚是在什么情況的IOPS,也就是要說明讀寫的方式以及單次IO的大小,當(dāng)然在實(shí)際當(dāng)中,特別是在OLTP的系統(tǒng)的,隨機(jī)的小IO的讀寫是最有說服力的。

  第5頁:傳輸速度/吞吐率

  傳輸速度(Transfer Rate)/吞吐率(Throughput)

  現(xiàn)在我們要說的傳輸速度(另一個常見的說法是吞吐率)不是磁盤上所表明的最大傳輸速度或者說理想傳輸速度,而是磁盤在實(shí)際使用的時候從磁盤系統(tǒng)總線上流過的數(shù)據(jù)量。有了IOPS數(shù)據(jù)之后我們是很容易就能計(jì)算出對應(yīng)的傳輸速度來的

  Transfer Rate = IOPS * IO Chunk Size

  還是那上面的第一組IOPS的數(shù)據(jù)我們可以得出相應(yīng)的傳輸速度如下

  4K: 140 * 4K = 560K / 40M = 1.36%

  8K: 139 * 8K = 1112K / 40M = 2.71%

  16K: 135 * 16K = 2160K / 40M = 5.27%

  32K: 116 * 32K = 3712K / 40M = 9.06%

  可以看出實(shí)際上的傳輸速度是很小的,對總線的利用率也是非常的小。

  這里一定要明確一個概念,那就是盡管上面我們使用IOPS來計(jì)算傳輸速度,但是實(shí)際上傳輸速度和IOPS是沒有直接關(guān)系,在沒有緩存的情況下它們共同的決定因素都是對磁盤系統(tǒng)的訪問方式以及單個IO的大小。對磁盤進(jìn)行隨機(jī)訪問時候我們可以利用IOPS來衡量一個磁盤系統(tǒng)的性能,此時的傳輸速度不會太大;但是當(dāng)對磁盤進(jìn)行連續(xù)訪問時,此時的IOPS已經(jīng)沒有了參考的價值,這個時候限制實(shí)際傳輸速度卻是磁盤的最大傳輸速度。因此在實(shí)際的應(yīng)用當(dāng)中,只會用IOPS來衡量小IO的隨機(jī)讀寫的性能,而當(dāng)要衡量大IO連續(xù)讀寫的性能的時候就要采用傳輸速度而不能是IOPS了。

  第6頁:IO響應(yīng)時間

  IO響應(yīng)時間(IO Response Time)

  最后來關(guān)注一下能直接描述IO性能的IO響應(yīng)時間。IO響應(yīng)時間也被稱為IO延時(IO Latency),IO響應(yīng)時間就是從操作系統(tǒng)內(nèi)核發(fā)出的一個讀或者寫的IO命令到操作系統(tǒng)內(nèi)核接收到IO回應(yīng)的時間,注意不要和單個IO時間混淆了,單個IO時間僅僅指的是IO操作在磁盤內(nèi)部處理的時間,而IO響應(yīng)時間還要包括IO操作在IO等待隊(duì)列中所花費(fèi)的等待時間。

  計(jì)算IO操作在等待隊(duì)列里面消耗的時間有一個衍生于利托氏定理(Little’s Law)的排隊(duì)模型M/M/1模型可以遵循,由于排隊(duì)模型算法比較復(fù)雜,到現(xiàn)在還沒有搞太明白(如果有誰對M/M/1模型比較精通的話歡迎給予指導(dǎo)),這里就羅列一下最后的結(jié)果,還是那上面計(jì)算的IOPS數(shù)據(jù)來說:

  8K IO Chunk Size (135 IOPS, 7.2 ms)

  135 => 240.0 ms

  105 => 29.5 ms

  75 => 15.7 ms

  45 => 10.6 ms

  64K IO Chunk Size(116 IOPS, 8.6 ms)

  135 => 沒響應(yīng)了……

  105 => 88.6 ms

  75 => 24.6 ms

  45 => 14.6 ms

  從上面的數(shù)據(jù)可以看出,隨著系統(tǒng)實(shí)際IOPS越接近理論的最大值,IO的響應(yīng)時間會成非線性的增長,越是接近最大值,響應(yīng)時間就變得越大,而且會比預(yù)期超出很多。一般來說在實(shí)際的應(yīng)用中有一個70%的指導(dǎo)值,也就是說在IO讀寫的隊(duì)列中,當(dāng)隊(duì)列大小小于最大IOPS的70%的時候,IO的響應(yīng)時間增加會很小,相對來說讓人比較能接受的,一旦超過70%,響應(yīng)時間就會戲劇性的暴增,所以當(dāng)一個系統(tǒng)的IO壓力超出最大可承受壓力的70%的時候就是必須要考慮調(diào)整或升級了。

  另外補(bǔ)充說一下這個70%的指導(dǎo)值也適用于CPU響應(yīng)時間,這也是在實(shí)踐中證明過的,一旦CPU超過70%,系統(tǒng)將會變得受不了的慢。很有意思的東西。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉