www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁(yè) > 芯聞號(hào) > 充電吧
[導(dǎo)讀]對(duì)于一個(gè)以數(shù)據(jù)為中心的應(yīng)用,數(shù)據(jù)庫(kù)的好壞直接影響到程序的性能,因此數(shù)據(jù)庫(kù)性能至關(guān)重要。一般來(lái)說(shuō),要保證數(shù)據(jù)庫(kù)的效率,要做好以下四個(gè)方面的工作:數(shù)據(jù)庫(kù)設(shè)計(jì)、sql語(yǔ)句優(yōu)化、數(shù)據(jù)庫(kù)參數(shù)配置、恰當(dāng)?shù)挠布Y源

對(duì)于一個(gè)以數(shù)據(jù)為中心的應(yīng)用,數(shù)據(jù)庫(kù)的好壞直接影響到程序的性能,因此數(shù)據(jù)庫(kù)性能至關(guān)重要。一般來(lái)說(shuō),要保證數(shù)據(jù)庫(kù)的效率,要做好以下四個(gè)方面的工作:數(shù)據(jù)庫(kù)設(shè)計(jì)、sql語(yǔ)句優(yōu)化、數(shù)據(jù)庫(kù)參數(shù)配置、恰當(dāng)?shù)挠布Y源和操作系統(tǒng),這個(gè)順序也表現(xiàn)了這四個(gè)工作對(duì)性能影響的大小。下面我們逐個(gè)闡明:
???????
?????? 一、數(shù)據(jù)庫(kù)設(shè)計(jì)

  適度的反范式,注意是適度的

  我們都知道三范式,基于三范式建立的模型是最有效保存數(shù) 據(jù)的方式,也是最容易擴(kuò)展的模式。我們?cè)陂_(kāi)發(fā)應(yīng)用程序時(shí),設(shè)計(jì)的數(shù)據(jù)庫(kù)要最大程度的遵守三范式,特別是對(duì)于OLTP型的系統(tǒng),三范式是必須遵守的規(guī)則。當(dāng) 然,三范式最大的問(wèn)題在于查詢時(shí)通常需要join很多表,導(dǎo)致查詢效率很低。所以有時(shí)候基于性能考慮,我們需要有意的違反三范式,適度的做冗余,以達(dá)到提 高查詢效率的目的。注意這里的反范式是適度的,必須為這種做法提供充分的理由。下面就是一個(gè)糟糕的實(shí)例:  

   在這里,為了提高學(xué)生活動(dòng)記錄的檢索效率,把單位名稱冗余到學(xué)生活動(dòng)記錄表里。單位信息有500條記錄,而學(xué)生活動(dòng)記錄在一年內(nèi)大概有200萬(wàn)數(shù)據(jù)量。 如果學(xué)生活動(dòng)記錄表不冗余這個(gè)單位名稱字段,只包含三個(gè)int字段和一個(gè)timestamp字段,只占用了16字節(jié),是一個(gè)很小的表。而冗余了一個(gè) varchar(32)的字段后則是原來(lái)的3倍,檢索起來(lái)相應(yīng)也多了這么多的I/O。而且記錄數(shù)相差懸殊,500 VS 2000000 ,導(dǎo)致更新一個(gè)單位名稱還要更新4000條冗余記錄。由此可見(jiàn),這個(gè)冗余根本就是適得其反。

  下面這個(gè)冗余就很好  

   可以看到,[學(xué)生考試總分]是冗余的,這個(gè)分?jǐn)?shù)完全可以通過(guò)[得分情況]匯總得到。在【學(xué)生考試總分】里,一次考試一個(gè)學(xué)生只有一條記錄,而在【得分情 況】里,一個(gè)學(xué)生針對(duì)試卷里一個(gè)小題的一個(gè)小問(wèn)一條記錄,粗略的算一下比例大概是1:100。而且判卷子得分是不會(huì)輕易變的,更新的頻率不高,所以說(shuō)這個(gè) 冗余是比較好的。

????適當(dāng)建立索引

  說(shuō)起提高數(shù)據(jù)庫(kù)性能,索引是最物美價(jià)廉的東西了。不用加內(nèi)存,不用改程序,不用調(diào)sql,只要執(zhí)行個(gè)正確的’create index’,查詢速度就可能提高百倍千倍,這可真有誘惑力??墒翘煜聸](méi)有免費(fèi)的午餐,查詢速度的提高是以插入、更新、刪除的速度為代價(jià)的,這些寫(xiě)操作,增加了大量的I/O。由于索引的存儲(chǔ)結(jié)構(gòu)不同于表的存儲(chǔ),一個(gè)表的索引所占空間比數(shù)據(jù)所占空間還大的情況經(jīng)常發(fā)生。這意味著我們?cè)趯?xiě)數(shù)據(jù)庫(kù)的時(shí)候做了很多額外的工作,而這個(gè)工作只是為了提高讀的效率。因此,我們建立一個(gè)索引,必須保證這個(gè)索引不會(huì)“虧本”。一般需要遵守這樣的規(guī)則:

  索引的字段必須是經(jīng)常作為查詢條件的字段;

  如果索引多個(gè)字段,第一個(gè)字段要是經(jīng)常作為查詢條件的。如果只有第二個(gè)字段作為查詢條件,這個(gè)索引不會(huì)起到作用;

  索引的字段必須有足夠的區(qū)分度;

  Mysql 對(duì)于長(zhǎng)字段支持前綴索引;

  對(duì)表進(jìn)行水平劃分

   如果一個(gè)表的記錄數(shù)太多了,比如上千萬(wàn)條,而且需要經(jīng)常檢索,那么我們就有必要化整為零了。如果我拆成100個(gè)表,那么每個(gè)表只有10萬(wàn)條記錄。當(dāng)然這 需要數(shù)據(jù)在邏輯上可以劃分。一個(gè)好的劃分依據(jù),有利于程序的簡(jiǎn)單實(shí)現(xiàn),也可以充分利用水平分表的優(yōu)勢(shì)。比如系統(tǒng)界面上只提供按月查詢的功能,那么把表按月 拆分成12個(gè),每個(gè)查詢只查詢一個(gè)表就夠了。如果非要按照地域來(lái)分,即使把表拆的再小,查詢還是要聯(lián)合所有表來(lái)查,還不如不拆了。所以一個(gè)好的拆分依據(jù)是 最重要的。

  這里有個(gè)比較好的實(shí)例????????

   每個(gè)學(xué)生做過(guò)的題都記錄在這個(gè)表里,包括對(duì)題和錯(cuò)題。每個(gè)題會(huì)對(duì)應(yīng)一個(gè)或多個(gè)知識(shí)點(diǎn),我們需要根據(jù)錯(cuò)題來(lái)分析學(xué)生在哪個(gè)知識(shí)點(diǎn)上掌握的不足。這個(gè)表很容 易達(dá)到千萬(wàn)級(jí),迫切需要拆分,那么根據(jù)什么來(lái)拆呢?從需求上看,無(wú)論是老師還是學(xué)生,最終會(huì)把焦點(diǎn)落在一個(gè)學(xué)生的身上。學(xué)生會(huì)關(guān)心自己,老師會(huì)關(guān)心自己班 的學(xué)生。而且每個(gè)學(xué)科的知識(shí)點(diǎn)是不同的。所以我們很容易想到,聯(lián)合學(xué)科和知識(shí)點(diǎn)兩個(gè)字段來(lái)拆分這個(gè)表。這樣拆下來(lái),每個(gè)表大概2萬(wàn)條數(shù)據(jù),檢索效率非常 高。

???? 對(duì)表進(jìn)行垂直劃分

  有些表記錄數(shù)并不多,可能也就2、3萬(wàn)條,但是字段卻很長(zhǎng),表占用空間很大,檢索表時(shí)需要執(zhí)行大量I/O,嚴(yán)重降低了性能。這個(gè)時(shí)候需要把大的字段拆分到另一個(gè)表,并且該表與原表是一對(duì)一的關(guān)系。????????

   【試題內(nèi)容】、【答案信息】?jī)蓚€(gè)表,最初是作為幾個(gè)字段添加到【試題信息】里的,可以看到試題內(nèi)容和答案這兩個(gè)字段很長(zhǎng),在表里有3萬(wàn)記錄時(shí),表已經(jīng)占 了1G的空間,在列試題列表時(shí)非常慢。經(jīng)過(guò)分析,發(fā)現(xiàn)系統(tǒng)很多時(shí)候是根據(jù)【冊(cè)】、【單元】、類型、類別、難易程度等查詢條件,分頁(yè)顯示試題詳細(xì)內(nèi)容。而每 次檢索都是這幾個(gè)表做join,每次要掃描一遍1G的表,很郁悶啊。我們完全可以把內(nèi)容和答案拆分成另一個(gè)表,只有顯示詳細(xì)內(nèi)容的時(shí)候才讀這個(gè)大表,由此 就產(chǎn)生了【試題內(nèi)容】、【答案信息】?jī)蓚€(gè)表。


?????? 選擇適當(dāng)?shù)淖侄晤愋?,特別是主鍵

  選擇字段的一般原則是保小不保大,能用占用字節(jié)小的字段就不用大字段。比如主鍵, 我們強(qiáng)烈建議用自增類型,不用guid,為什么?省空間啊?空間是什么?空間就是效率!按4個(gè)字節(jié)和按32個(gè)字節(jié)定位一條記錄,誰(shuí)快誰(shuí)慢太明顯了。涉及到 幾個(gè)表做join時(shí),效果就更明顯了。值得一提的是,datetime和timestamp,datetime占用8個(gè)字節(jié),而timestamp占用4 個(gè)字節(jié),只用了一半,而timestamp表示的范圍是1970—2037,對(duì)于大多數(shù)應(yīng)用,尤其是記錄什么考試時(shí)間,登錄時(shí)間這類信息,綽綽有余啊。

  文件、圖片等大文件用文件系統(tǒng)存儲(chǔ),不用數(shù)據(jù)庫(kù)

  不用多說(shuō),鐵律!!!數(shù)據(jù)庫(kù)只存儲(chǔ)路徑。

  外鍵表示清楚,方便建立索引

  我們都知道,在powerdesigner里為兩個(gè)實(shí)體建立關(guān)系,生成物理模型時(shí)會(huì)自動(dòng)給外鍵建立索引。所以我們不要怕建立關(guān)系把線拉亂,建立個(gè)ShortCut就好了。

  掌握表的寫(xiě)入時(shí)機(jī)

  在庫(kù)模式相同的情況下,如何使用數(shù)據(jù)庫(kù)也對(duì)性能有著重要作用。同樣是寫(xiě)入一個(gè)表,先寫(xiě)和后寫(xiě)對(duì)后續(xù)的操作會(huì)產(chǎn)生很大影響。例如在上面提到的適度冗余里的例子,????????

   我們最初的目的是記錄考生的總分,以達(dá)到提高檢索效率的目的,也就是在錄入成績(jī)時(shí)寫(xiě)入這個(gè)表。在需求里有這樣的要求:列出本次考試的所有學(xué)生成績(jī),沒(méi)有 錄入成績(jī)的也顯示該學(xué)生名稱,只是總分顯示為空。這個(gè)查詢就需要用【學(xué)生信息】left outer join 【學(xué)生考試總分信息】,大家都知道outer join 的效率比join是要低的,為了避免這個(gè)問(wèn)題,我們就在布置考試的時(shí)候?qū)懭脒@個(gè)表,把所有學(xué)生都插入進(jìn)去,分?jǐn)?shù)都是null,這樣一來(lái)我們就可以用 join達(dá)到這個(gè)效果了。而且還有這樣的好處:在某次考試中,安排了一個(gè)班所有學(xué)生考試,所有學(xué)生都錄入了成績(jī)?,F(xiàn)在班里轉(zhuǎn)來(lái)一個(gè)新生,那么在此時(shí)如果查 詢學(xué)生成績(jī),就會(huì)列出這個(gè)新生,結(jié)果是未錄入成績(jī),這顯然是不對(duì)的。如果在安排的時(shí)候就寫(xiě)入,就可以記錄下該次考試中實(shí)際的考生了,這個(gè)表的作用,也就不 知是冗余了。

 ?? 寧可集中批量操作,避免頻繁讀寫(xiě)

  系統(tǒng)里包含了積分部分,學(xué)生和老師通過(guò)系統(tǒng)做了操作都可以獲得積分,而且積分規(guī) 則很復(fù)雜,限制每類操作獲得積分不同,每人每天每類積分都有上限。比如登錄,一次登錄就可以獲得1分,但是不管你登錄多少次,一天只能累積一個(gè)登錄積分。 這個(gè)還是簡(jiǎn)單的,有的積分很變態(tài),比如老師積分中有一類是看老師判作業(yè)的情況,規(guī)則是:老師判了作業(yè),發(fā)現(xiàn)學(xué)生有錯(cuò)的,學(xué)生改過(guò)了,老師再判,如果這時(shí)候 學(xué)生都對(duì)了,就給老師加分,如果學(xué)生還是錯(cuò)的,那就接著改,知道學(xué)生都改對(duì)了,老師都判完了,才能給老師加分。如果用程序來(lái)處理,很可能每個(gè)功能都會(huì)額外 的寫(xiě)一堆代碼來(lái)處理這個(gè)雞肋似的積分。不僅編程的同事干活找不到重點(diǎn),還平白給數(shù)據(jù)庫(kù)帶來(lái)了很大的壓力。經(jīng)過(guò)和需求人員的討論,確定積分沒(méi)有必要實(shí)時(shí)累 積,于是我們采取后臺(tái)腳本批量處理的方式。夜深人靜的時(shí)候,讓機(jī)器自己玩去吧。

  這個(gè)變態(tài)的積分規(guī)則用批處理讀出來(lái)是這樣的:  

? ? ??1select?person_id, @semester_id, 301003, 0, @one_marks, assign_date, @one_marks2?????????from?hom_assignmentinfo?? ha, hom_assign_class hac3?????????where?ha.assignment_id = hac.assignment_id4??????????????and?ha.assign_datebetween?@time_beginand?@time_end5??????????????and?ha.assignment_idnot?in6??????????????????? (7????????????????????????select?haa.assignment_idfrom?hom_assignment_appraise haa, hom_check_assignment hca8?????????????????????????where?haa.appraise_id = hca.appraise_id and?haa.if_submit=19??????????????????????????????and?(10????????????????????????????????????? (hca.recheck_state = 3004001 and?hca.check_resultin?(3003002, 3003003) )11??????????????????????????????????????or12????????????????????????????????????? (hca.recheck_state = 3004002 and?hca.recheck_resultin?(3003002, 3003003))13??????????????????????????????????? )14??????????????????? )15??????????????and?ha.assignment_idnot?in16??????????????????? (17????????????????????????select?assignment_idfrom?hom_assignment_appraisewhere?if_submit=0and?result_type = 018??????????????????? )19??????????????and?ha.assignment_idin?????20??????????????????? (21????????????????????????select?haa.assignment_idfrom?hom_assignment_appraise haa, hom_check_assignment hca22?????????????????????????where?haa.appraise_id = hca.appraise_id and?<code class="sql plain" style="border:0px !important;line-height:1.8em !important;overflow:visible !important;vertical-align:baseline !important;font-family:Consolas, 'Bitstream Vera Sa

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉