MySQL數(shù)據(jù)庫引擎介紹、區(qū)別、創(chuàng)建和性能測試
數(shù)據(jù)庫引擎介紹
MySQL數(shù)據(jù)庫引擎取決于MySQL在安裝的時候是如何被編譯的。要添加一個新的引擎,就必須重新編譯MYSQL。在缺省情況下,MYSQL支持三個引擎:ISAM、MYISAM和HEAP。另外兩種類型INNODB和BERKLEY(BDB),也常??梢允褂?。如果技術(shù)高超,還可以使用MySQL+API自己做一個引擎。下面介紹幾種數(shù)據(jù)庫引擎:
? ??ISAM:ISAM是一個定義明確且歷經(jīng)時間考驗(yàn)的數(shù)據(jù)表格管理方法,它在設(shè)計(jì)之時就考慮到
數(shù)據(jù)庫被查詢的次數(shù)要遠(yuǎn)大于更新的次數(shù)。因此,ISAM執(zhí)行讀取操作的速度很快,而且不占用大量的內(nèi)存和存儲資源。ISAM的兩個主要不足之處在于,它不 支持事務(wù)處理,也不能夠容錯:如果你的硬盤崩潰了,那么數(shù)據(jù)文件就無法恢復(fù)了。如果你正在把ISAM用在關(guān)鍵任務(wù)應(yīng)用程序里,那就必須經(jīng)常備份你所有的實(shí)
時數(shù)據(jù),通過其復(fù)制特性,MYSQL能夠支持這樣的備份應(yīng)用程序。
? ??MyISAM:MyISAM是MySQL的ISAM擴(kuò)展格式和缺省的數(shù)據(jù)庫引擎。除了提供ISAM里所沒有的索引和字段管理的大量功能,MyISAM還使用一種表格鎖定的機(jī)制,來優(yōu)化多個并發(fā)的讀寫操作,其代價是你需要經(jīng)常運(yùn)行OPTIMIZE
TABLE命令,來恢復(fù)被更新機(jī)制所浪費(fèi)的空間。MyISAM還有一些有用的擴(kuò)展,例如用來修復(fù)數(shù)據(jù)庫文件的MyISAMCHK工具和用來恢復(fù)浪費(fèi)空間的 MyISAMPACK工具。MYISAM強(qiáng)調(diào)了快速讀取操作,這可能就是為什么MySQL受到了WEB開發(fā)如此青睞的主要原因:在WEB開發(fā)中你所進(jìn)行的大量數(shù)據(jù)操作都是讀取操作。所以,大多數(shù)虛擬主機(jī)提供商和INTERNET平臺提供商只允許使用MYISAM格式。MyISAM格式的一個重要缺陷就是不能在表損壞后恢復(fù)數(shù)據(jù)。
? ??HEAP:HEAP允許只駐留在內(nèi)存里的臨時表格。駐留在內(nèi)存里讓HEAP要比ISAM和MYISAM都快,但是它所管理的數(shù)據(jù)是不穩(wěn)定的,而且如果在關(guān)機(jī)之前沒有進(jìn)行保存,那么所有的數(shù)據(jù)都會丟失。在數(shù)據(jù)行被刪除的時候,HEAP也不會浪費(fèi)大量的空間。HEAP表格在你需要使用SELECT表達(dá)式來選擇和操控數(shù)據(jù)的時候非常有用。要記住,在用完表格之后就刪除表格。
? ??InnoDB:InnoDB數(shù)據(jù)庫引擎都是造就MySQL靈活性的技術(shù)的直接產(chǎn)品,這項(xiàng)技術(shù)就是MYSQL+API。在使用MYSQL的時候,你所面對的每一個挑戰(zhàn)幾乎都源于ISAM和MyISAM數(shù)據(jù)庫引擎不支持事務(wù)處理(transaction
process)也不支持外來鍵。盡管要比ISAM和 MyISAM引擎慢很多,但是InnoDB包括了對事務(wù)處理和外來鍵的支持,這兩點(diǎn)都是前兩個引擎所沒有的。如前所述,如果你的設(shè)計(jì)需要這些特性中的一者 或者兩者,那你就要被迫使用后兩個引擎中的一個了。
? ? 如果感覺自己的確技術(shù)高超,你還能夠使用MySQL+API來創(chuàng)建自己的數(shù)據(jù)庫引擎。這個API為你提供了操作字段、記錄、表格、數(shù)據(jù)庫、連接、安全帳號的功能,以及建立諸如MySQL這樣DBMS所需要的所有其他無數(shù)功能。深入講解API已經(jīng)超出了本文的范圍,但是你需要了解MySQL+API的存在及其可交換引擎背后的技術(shù),這一點(diǎn)是很重要的。估計(jì)這個插件式數(shù)據(jù)庫引擎的模型甚至能夠被用來為MySQL創(chuàng)建本地的XML提供器(XML
provider)。(任何讀到本文的MySQL+API開發(fā)人員可以把這一點(diǎn)當(dāng)作是個要求。)
MyISAM與InnoDB的區(qū)別
InnoDB和MyISAM是許多人在使用MySQL時最常用的兩個表類型,這兩個表類型各有優(yōu)劣,視具體應(yīng)用而定?;镜牟顒e為:MyISAM類型不支持事務(wù)處理等高級處理,而InnoDB類型支持。MyISAM類型的表強(qiáng)調(diào)的是性能,其執(zhí)行數(shù)度比InnoDB類型更快,但是不提供事務(wù)支持,而InnoDB提供事務(wù)支持已經(jīng)外部鍵等高級數(shù)據(jù)庫功能。
以下是一些細(xì)節(jié)和具體實(shí)現(xiàn)的差別:
1.InnoDB不支持FULLTEXT類型的索引。
2.InnoDB 中不保存表的具體行數(shù),也就是說,執(zhí)行select count(*) fromtable時,InnoDB要掃描一遍整個表來計(jì)算有多少行,但是MyISAM只要簡單的讀出保存好的行數(shù)即可。注意的是,當(dāng)count(*)語句包含where條件時,兩種表的操作是一樣的。
3.對于AUTO_INCREMENT類型的字段,InnoDB中必須包含只有該字段的索引,但是在MyISAM表中,可以和其他字段一起建立聯(lián)合索引。
4.DELETE FROM table時,InnoDB不會重新建立表,而是一行一行的刪除。
5.LOAD TABLE FROMMASTER操作對InnoDB是不起作用的,解決方法是首先把InnoDB表改成MyISAM表,導(dǎo)入數(shù)據(jù)后再改成InnoDB表,但是對于使用的額外的InnoDB特性(例如外鍵)的表不適用。
另外,InnoDB表的行鎖也不是絕對的,假如在執(zhí)行一個SQL語句時MySQL不能確定要掃描的范圍,InnoDB表同樣會鎖全表,例如updatetable set num=1 where name like “a%”
兩種類型最主要的差別就是Innodb支持事務(wù)處理與外鍵和行級鎖.而MyISAM不支持.所以MyISAM往往就容易被人認(rèn)為只適合在小項(xiàng)目中使用。
我作為使用MySQL的用戶角度出發(fā),Innodb和MyISAM都是比較喜歡的,但是從我目前運(yùn)維的數(shù)據(jù)庫平臺要達(dá)到需求:99.9%的穩(wěn)定性,方便的擴(kuò)展性和高可用性來說的話,MyISAM絕對是我的首選。
原因如下:
1、首先我目前平臺上承載的大部分項(xiàng)目是讀多寫少的項(xiàng)目,而MyISAM的讀性能是比Innodb強(qiáng)不少的。
2、MyISAM的索引和數(shù)據(jù)是分開的,并且索引是有壓縮的,內(nèi)存使用率就對應(yīng)提高了不少。能加載更多索引,而Innodb是索引和數(shù)據(jù)是緊密捆綁的,沒有使用壓縮從而會造成Innodb比MyISAM體積龐大不小。
3、從平臺角度來說,經(jīng)常隔1,2個月就會發(fā)生應(yīng)用開發(fā)人員不小心update一個表where寫的范圍不對,導(dǎo)致這個表沒法正常用了,這個時候MyISAM的優(yōu)越性就體現(xiàn)出來了,隨便從當(dāng)天拷貝的壓縮包取出對應(yīng)表的文件,隨便放到一個數(shù)據(jù)庫目錄下,然后dump成sql再導(dǎo)回到主庫,并把對應(yīng)的binlog補(bǔ)上。如果是Innodb,恐怕不可能有這么快速度,別和我說讓Innodb定期用導(dǎo)出xxx.sql機(jī)制備份,因?yàn)槲移脚_上最小的一個數(shù)據(jù)庫實(shí)例的數(shù)據(jù)量基本都是幾十G大小。
4、從我接觸的應(yīng)用邏輯來說,select count(*) 和order by是最頻繁的,大概能占了整個sql總語句的60%以上的操作,而這種操作Innodb其實(shí)也是會鎖表的,很多人以為Innodb是行級鎖,那個只是where對它主鍵是有效,非主鍵的都會鎖全表的。
5、還有就是經(jīng)常有很多應(yīng)用部門需要我給他們定期某些表的數(shù)據(jù),MyISAM的話很方便,只要發(fā)給他們對應(yīng)那表的frm.MYD,MYI的文件,讓他們自己在對應(yīng)版本的數(shù)據(jù)庫啟動就行,而Innodb就需要導(dǎo)出xxx.sql了,因?yàn)楣饨o別人文件,受字典數(shù)據(jù)文件的影響,對方是無法使用的。
6、如果和MyISAM比insert寫操作的話,Innodb還達(dá)不到MyISAM的寫性能,如果是針對基于索引的update操作,雖然MyISAM可能會遜色I(xiàn)nnodb,但是那么高并發(fā)的寫,從庫能否追的上也是一個問題,還不如通過多實(shí)例分庫分表架構(gòu)來解決。
7、如果是用MyISAM的話,merge引擎可以大大加快應(yīng)用部門的開發(fā)速度,他們只要對這個merge表做一些selectcount(*)操作,非常適合大項(xiàng)目總量約幾億的rows某一類型(如日志,調(diào)查統(tǒng)計(jì))的業(yè)務(wù)表。
當(dāng)然Innodb也不是絕對不用,用事務(wù)的項(xiàng)目如模擬炒股項(xiàng)目,我就是用Innodb的,活躍用戶20多萬時候,也是很輕松應(yīng)付了,因此我個人也是很喜歡Innodb的,只是如果從數(shù)據(jù)庫平臺應(yīng)用出發(fā),我還是會首選MyISAM。
另外,可能有人會說你MyISAM無法抗太多寫操作,但是我可以通過架構(gòu)來彌補(bǔ),說個我現(xiàn)有用的數(shù)據(jù)庫平臺容量:主從數(shù)據(jù)總量在幾百T以上,每天十多億pv的動態(tài)頁面,還有幾個大項(xiàng)目是通過數(shù)據(jù)接口方式調(diào)用未算進(jìn)pv總數(shù),(其中包括一個大項(xiàng)目因?yàn)槌跗趍emcached沒部署,導(dǎo)致單臺數(shù)據(jù)庫每天處理9千萬的查詢)。而我的整體數(shù)據(jù)庫服務(wù)器平均負(fù)載都在0.5-1左右。
? ??一般來說,MyISAM適合:(1)做很多count
的計(jì)算;(2)插入不頻繁,查詢非常頻繁;(3)沒有事務(wù)。
? ? ? ? ? ? ? ? ? ? ? ? ?InnoDB適合:(1)可靠性要求比較高,或者要求事務(wù);(2)表更新和查詢都相當(dāng)?shù)念l繁,并且表鎖定的機(jī)會比較大的情況
指定數(shù)據(jù)引擎的創(chuàng)建
? ? 讓所有的靈活性成為可能的開關(guān)是提供給ANSI SQL的MySQL擴(kuò)展——TYPE參數(shù)。MySQL能夠讓你在表格這一層指定數(shù)據(jù)庫引擎,所以它們有時候也指的是table formats。下面的示例代碼表明了如何創(chuàng)建分別使用MyISAM、ISAM和HEAP引擎的表格。要注意,創(chuàng)建每個表格的代碼是相同的,除了最后的 TYPE參數(shù),這一參數(shù)用來指定數(shù)據(jù)引擎。
? ? 以下為引用的內(nèi)容:
[sql]?view plaincopy CREATE?TABLE?tblMyISAM?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=MyISAM?? CREATE?TABLE?tblISAM?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=ISAM?? CREATE?TABLE?tblHeap?(?? id?INT?NOT?NULL?AUTO_INCREMENT,?? PRIMARY?KEY?(id),?? value_a?TINYINT?? )?TYPE=Heap??
? ? 你也可以使用ALTER TABLE命令,把原有的表格從一個引擎移動到另一個引擎。下面的代碼顯示了如何使用ALTER TABLE把MyISAM表格移動到InnoDB的引擎:
? ? 以下為引用的內(nèi)容:
[delphi]?view plaincopy ALTER?TABLE?tblMyISAM?CHANGE?TYPE=InnoDB?? ? ? MySQL用三步來實(shí)現(xiàn)這一目的。首先,這個表格的一個副本被創(chuàng)建。然后,任何輸入數(shù)據(jù)的改變都被排入隊(duì)列,同時這個副本被移動到另一個引擎。最后,任何排入隊(duì)列的數(shù)據(jù)改變都被送交到新的表格里,而原來的表格被刪除。 [sql]?view plaincopy ALTER?TABLE捷徑??
? ? 如果只是想把表格從ISAM更新為MyISAM,你可以使用MySQL_convert_table_format命令,而不需要編寫ALTER TABLE表達(dá)式。
? ? 你可以使用SHOW TABLE命令(這是MySQL對ANSI標(biāo)準(zhǔn)的另一個擴(kuò)展)來確定哪個引擎在管理著特定的表格。SHOW TABLE會返回一個帶有多數(shù)據(jù)列的結(jié)果集,你可以用這個結(jié)果集來查詢獲得所有類型的信息:數(shù)據(jù)庫引擎的名稱在Type字段里。下面的示例代碼說明了 SHOW TABLE的用法:
[sql]?view plaincopy SHOW?TABLE?STATUS?FROM?tblInnoDB?? ? ? 你可以用SHOW CREATE TABLE [TableName]來取回SHOW TABLE能夠取回的信息。
??? 一般情況下,MySQL會默認(rèn)提供多種存儲引擎,可以通過下面的查看:
? ? (1)看你的MySQL現(xiàn)在已提供什么存儲引擎: mysql>?show engines;
? ? (2)看你的MySQL當(dāng)前默認(rèn)的存儲引擎: mysql>?show variables like '%storage_engine%';
? ? (3)你要看某個表用了什么引擎(在顯示結(jié)果里參數(shù)engine后面的就表示該表當(dāng)前用的存儲引擎): mysql>?show create
table 表名;
? ? 最后,如果你想使用沒有被編譯成MySQL也沒有被激活的引擎,那是沒有用的,MySQL不會提示這一點(diǎn)。而它只會給你提供一個缺省格式(MyISAM)的表格。除了使用缺省的表格格式外,還有辦法讓MySQL給出錯誤提示,但是就現(xiàn)在而言,如果不能肯定特定的數(shù)據(jù)庫引擎是否可用的話,你要使用SHOW TABLE來檢查表格格式。
? ? 更多的選擇意味著更好的性能
? ? 用于特定表格的引擎都需要重新編譯和追蹤,考慮到這種的額外復(fù)雜性,為什么你還是想要使用非缺省的數(shù)據(jù)庫引擎呢?答案很簡單:要調(diào)整數(shù)據(jù)庫來滿足你的要求。
? ? 可以肯定的是,MyISAM的確快,但是如果你的邏輯設(shè)計(jì)需要事務(wù)處理,你就可以自由使用支持事務(wù)處理的引擎。進(jìn)一步講,由于MySQL能夠允許你在表格這一層應(yīng)用數(shù)據(jù)庫引擎,所以你可以只對需要事務(wù)處理的表格來進(jìn)行性能優(yōu)化,而把不需要事務(wù)處理的表格交給更加輕便的MyISAM引擎。對于 MySQL而言,靈活性才是關(guān)鍵。
性能測試
?所有的性能測試在:Micrisoft window xp sp2 , Intel(R) Pentinum(R) M processor 1.6oGHz 1G 內(nèi)存的電腦上測試。
?測試方法:連續(xù)提交10個query, 表記錄總數(shù):38萬 , 時間單位 s
? ? ? ? 引擎類型 ? ? ? ? ? ? ? ? ? ?MyISAM ? ? ? ? ? ? ? ?InnoDB ? ? ? ? ? ? ?性能相差
? ? ? ? count ? ? ? ? ? ? ? ? ? ? ? ? 0.0008357 ? ? ? ? ? ?3.0163 ? ? ? ? ? ? ? ?3609
? ? ? ? 查詢主鍵 ? ? ? ? ? ? ? ? ? 0.005708 ? ? ? ? ? ? ?0.1574 ? ? ? ? ? ? ? ?27.57
? ? ? ? 查詢非主鍵 ? ? ? ? ? ? ? 24.01 ? ? ? ? ? ? ? ? ? ? 80.37 ? ? ? ? ? ? ? ? ?3.348
? ? ? ? 更新主鍵 ? ? ? ? ? ? ? ? ? 0.008124 ? ? ? ? ? ? ?0.8183 ? ? ? ? ? ? ? ?100.7
? ? ? ? 更新非主鍵 ? ? ? ? ? ? ? 0.004141 ? ? ? ? ? ? ?0.02625 ? ? ? ? ? ? ?6.338
? ? ? ? 插入 ? ? ? ? ? ? ? ? ? ? ? ? ? 0.004188 ? ? ? ? ? ? ?0.3694 ? ? ? ? ? ? ? ?88.21
? ? (1)加了索引以后,對于MyISAM查詢可以加快:4 206.09733倍,對InnoDB查詢加快510.72921倍,同時對MyISAM更新速度減慢為原來的1/2,InnoDB的更新速度減慢為原來的1/30。要看情況決定是否要加索引,比如不查詢的log表,不要做任何的索引。
? ? (2)如果你的數(shù)據(jù)量是百萬級別的,并且沒有任何的事務(wù)處理,那么用MyISAM是性能最好的選擇。
? ? (3)InnoDB表的大小更加的大,用MyISAM可省很多的硬盤空間。
? ? ? ? 在我們測試的這個38w的表中,表占用空間的情況如下:
? ? ? ? ? ? 引擎類型 ? ? ? ? ? ? ? ? ? ?MyISAM ? ? ? ? ? ? ? InnoDB
? ? ? ? ? ? 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ?53,924 KB ? ? ? ? ? 58,976 KB
? ? ? ? ? ? 索引 ? ? ? ? ? ? ? ? ? ? ? ? 13,640 KB ? ? ? ? ? 21,072 KB
? ? ? ? ? ? 占用總空間 ? ? ? ? ? ? 67,564 KB ? ? ? ? ? 80,048 KB?
? ? ? ? 另外一個176W萬記錄的表, 表占用空間的情況如下:
? ? ? ? ? ? 引擎類型 ? ? ? ? ? ? ? ?MyIsam ? ? ? ? ? ? ? InnorDB
? ? ? ? ? ? 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ?56,166 KB ? ? ? ? ? 90,736 KB
? ? ? ? ? ? 索引 ? ? ? ? ? ? ? ? ? ? ?67,103 KB ? ? ? ? ? 88,848 KB
? ? ? ? ? ? 占用總空間 ? ? ? ? ?123,269 KB ? ? ? ?179,584 KB
其他
? ??MySQL 官方對InnoDB是這樣解釋的:InnoDB給MySQL提供了具有提交、回滾和崩潰恢復(fù)能力的事務(wù)安全(ACID兼容)存儲引擎。InnoDB鎖定在行級并且也在SELECT語句提供一個Oracle風(fēng)格一致的非鎖定讀,這些特色增加了多用戶部署和性能。沒有在InnoDB中擴(kuò)大鎖定的需要,因?yàn)樵贗nnoDB中行級鎖定適合非常小的空間。InnoDB也支持FOREIGN
KEY強(qiáng)制。在SQL查詢中,你可以自由地將InnoDB類型的表與其它MySQL的表的類型混合起來,甚至在同一個查詢中也可以混合。
? ??InnoDB是為處理巨大數(shù)據(jù)量時的最大性能設(shè)計(jì),它的CPU效率可能是任何其它基于磁盤的關(guān)系數(shù)據(jù)庫引擎所不能匹敵的。
? ??InnoDB存儲引擎被完全與MySQL服務(wù)器整合,InnoDB存儲引擎為在主內(nèi)存中緩存數(shù)據(jù)和索引而維持它自己的緩沖池。InnoDB存儲它的表&索引在一個表空間中,表空間可以包含數(shù)個文件(或原始磁盤分區(qū))。這與MyISAM表不同,比如在MyISAM表中每個表被存在分離的文件中。InnoDB
表可以是任何尺寸,即使在文件尺寸被限制為2GB的操作系統(tǒng)上。
? ??InnoDB默認(rèn)地被包含在MySQL二進(jìn)制分發(fā)中。Windows
Essentials installer使InnoDB成為Windows上MySQL的默認(rèn)表。
? ??InnoDB被用來在眾多需要高性能的大型數(shù)據(jù)庫站點(diǎn)上產(chǎn)生。著名的Internet新聞?wù)军c(diǎn)Slashdot.org運(yùn)行在InnoDB上。 Mytrix, Inc.在InnoDB上存儲超過1TB的數(shù)據(jù),還有一些其它站點(diǎn)在InnoDB上處理平均每秒800次插入/更新的