www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置:首頁 > 芯聞號 > 充電吧
[導讀]一、? hash join概念? ? ? ? ? ? ? ? ??hash join(HJ)是一種用于equi-join(而anti-join就是使用NOT IN時的join)的技術。在Oracle中

一、? hash join概念? ? ? ? ? ? ? ? ??

hash join(HJ)是一種用于equi-join(而anti-join就是使用NOT IN時的join)的技術。在Oracle中,它是從7.3開始引入的,以代替sort-merge和nested-loop join方式,提高效率。在CBO(hash join只有在CBO才可能被使用到)模式下,優(yōu)化器計算代價時,首先會考慮hash join??梢酝ㄟ^提示use_hash來強制使用hash join,也可以通過修改會話或數據庫參數HASH_JOIN_ENABLED=FALSE(默認為TRUE)強制不使用hash join。 ? ? ? ? ? ????? Hash join的主要資源消耗在于CPU(在內存中創(chuàng)建臨時的hash表,并進行hash計算),而merge join的資源消耗主要在于磁盤IO(掃描表或索引)。在并行系統(tǒng)中,hash join對CPU的消耗更加明顯。所以在CPU緊張時,最好限制使用hash join。 ? ? ? ? ? ?

在絕大多數情況下,hash join效率比其他join方式效率更高: ? ? ? ? ? ??????

在Sort-Merge Join(SMJ),兩張表的數據都需要先做排序,然后做merge。因此效率相對最差; ? ? ? ? ? ??????

Nested-Loop Join(NL)效率比SMJ更高。特別是當驅動表的數據量很大(集的勢高)時。這樣可以并行掃描內表。 ? ? ? ? ? ??????

Hash join效率最高,因為只要對兩張表掃描一次。? ? ? ? ? ? ??????

Hash join一般用于一張小表和一張大表進行join時。Hash join的過程大致如下(下面所說的內存就指sort area,關于過程,后面會作詳細討論): ? ? ? ? ? ?

1.?一張小表被hash在內存中。因為數據量小,所以這張小表的大多數數據已經駐入在內存中,剩下的少量數據被放置在臨時表空間中; ? ? ? ? ? ?

2.?每讀取大表的一條記錄,就和小表中內存中的數據進行比較,如果符合,則立即輸出數據(也就是說沒有讀取臨時表空間中的小表的數據)。而如果大表的數據與小表中臨時表空間的數據相符合,則不直接輸出,而是也被存儲臨時表空間中。 ? ? ? ? ? ?

3.?當大表的所有數據都讀取完畢,將臨時表空間中的數據以其輸出。 ? ? ? ? ? ???????

如果小表的數據量足夠?。ㄐ∮趆ash area size),那所有數據就都在內存中了,可以避免對臨時表空間的讀寫。 ? ? ? ? ? ?

如果是并行環(huán)境下,前面中的第2步就變成如下了:每讀取一條大表的記錄,和內存中小表的數據比較,如果符合先做join,而不直接輸出,直到整張大表數據讀取完畢。如果內存足夠,Join好的數據就保存在內存中。否則,就保存在臨時表空間中。 ? ? ? ? ? ?

二、? Oracle中與hash join相關的參數 ? ? ? ? ? ??????

首先,要注意的是,hash join只有在CBO方式下才會被激活。在oracle中與hash join相關的參數主要有以下幾個: ? ? ? ? ? ?

1.HASH_JOIN_ENABLED ? ? ? ? ? ??????

這個參數是控制查詢計劃是否采用hash join的“總開關”。它可以在會話級和實例級被修改。默認為TRUE,既可以(不是一定,要看優(yōu)化器計算出來的代價)使用。如果設為FALSE,則禁止使用hash join。 ? ? ? ? ? ?

2.HASH_AREA_SIZE ? ? ? ? ? ??????

這個參數控制每個會話的hash內存空間有多大。它也可以在會話級和實例級被修改。默認(也是推薦)值是sort area空間大小的兩倍(2*SORT_AREA_SIZE)。要提高hash join的效率,就一定盡量保證sort area足夠大,能容納下整個小表的數據。但是因為每個會話都會開辟一個這么大的內存空間作為hash內存,所以不能過大(一般不建議超過2M)。在Oracle9i及以后版本中,Oracle不推薦在dedicated server中使用這個參數來設置hash內存,而是推薦通過設置PGA_AGGRATE_TARGET參數來自動管理PGA內存。保留HASH_AREA_SIZE只是為了向后兼容。在dedicated server中,hash area是從PGA中分配的,而在MTS(Multi-Threaded Server)中,hash area是從UGA中分配的。 ? ? ? ? ? ??????

另外,還要注意的是,每個會話并不一定只打開一個hash area,因為一個查詢中可能不止一個hash join,這是就會相應同時打開多個hash area。 ? ? ? ? ? ?

3.HAHS_MULTIBLOCK_IO_COUNT ? ? ? ? ? ??????

這個參數決定每次讀入hash area的數據塊數量。因此它會對IO性能產生影響。他只能在init.ora或spfile中修改。在8.0及之前版本,它的默認值是1,在8i及以后版本,默認值是0。一般設置為1-(65536/DB_BLOCK_SIZE)。? ? ? ? 在9i中,這個參數是一個隱藏參數:_HASH_MULTIBLOCK_IO_COUNT,可以通過表x$ksppi查詢和修改。 ? ? ? ? ? ??????

另外,在MTS中,這個參數將不起作用(只會使用1)。 ? ? ? ? ? ??????

它的最大值受到OS的IO帶寬和DB_BLOCK_SIZE的影響。既不能大于MAX_IO_SIZE/DB_BLOCK_SIZE。 ? ? ? ? ? ??????

在8i及以后版本,如果這個值設置為0,則表示在每次查詢時,Oracle自己自動計算這個值。這個值對IO性能影響非常大,因此,建議不要修改這個參數,使用默認值0,讓Oracle自己去計算這個值。如果一定要設置這個值,要保證以下不等式能成立:R/M < Po2(M/C)其中,R表示小表的大??;M=HASH_AREA_SIZE*0.9;Po2(n)為n的2次方;C=HASH_MULTIBLOCK_IO_COUNT*DB_BLOCK_SIZE。 ? ? ? ? ? ?

三、? Hash join的過程 ? ? ? ? ? ??????

一次完整的hash join如下:? ? ? ? ? ??

1.計算小表的分區(qū)(bucket)數 ? ? ? ? ? ?????

決定hash join的一個重要因素是小表的分區(qū)(bucket)數。這個數字由hash_area_size、hash_multiblock_io_count和db_block_size參數共同決定。Oracle會保留hash area的20%來存儲分區(qū)的頭信息、hash位圖信息和hash表。因此,這個數字的計算公式是: ? ? ? ? ? ??????

Bucket數=0.8*hash_area_size/(hash_multiblock_io_count*db_block_size) ? ? ? ? ? ?

2.Hash計算??? ? ? ? ? ? ??????

讀取小表數據(簡稱為R),并對每一條數據根據hash算法進行計算。Oracle采用兩種hash算法進行計算,計算出能達到最快速度的hash值(第一hash值和第二hash值)。而關于這些分區(qū)的全部hash值(第一hash值)就成為hash表。 ? ? ? ? ? ?

3.存放數據到hash內存中 ? ? ? ? ? ??????

將經過hash算法計算的數據,根據各個bucket的hash值(第一hash值)分別放入相應的bucket中。第二hash值就存放在各條記錄中。 ? ? ? ? ? ?

4.創(chuàng)建hash位圖 ? ? ? ? ? ??????

與此同時,也創(chuàng)建了一個關于這兩個hash值映射關系的hash位圖。 ? ? ? ? ? ?

5超出內存大小部分被移到磁盤 ? ? ? ? ? ??????

如果hash area被占滿,那最大一個分區(qū)就會被寫到磁盤(臨時表空間)上去。任何需要寫入到磁盤分區(qū)上的記錄都會導致磁盤分區(qū)被更新。這樣的話,就會嚴重影響性能,因此一定要盡量避免這種情況。2-5一直持續(xù)到整個表的數據讀取完畢。 ? ? ? ? ? ?

6.對分區(qū)排序 ? ? ? ? ? ??????

為了能充分利用內存,盡量存儲更多的分區(qū),Oracle會按照各個分區(qū)的大小將他們在內存中排序。 ? ? ? ? ? ?

7.讀取大表數據,進行hash匹配 ? ? ? ? ? ??????

接下來就開始讀取大表(簡稱S)中的數據。按順序每讀取一條記錄,計算它的hash值,并檢查是否與內存中的分區(qū)的hash值一致。如果是,返回join數據。如果內存中的分區(qū)沒有符合的,就將S中的數據寫入到一個新的分區(qū)中,這個分區(qū)也采用與計算R一樣的算法計算出hash值。也就是說這些S中的數據產生的新的分區(qū)數應該和R的分區(qū)集的分區(qū)數一樣。這些新的分區(qū)被存儲在磁盤(臨時表空間)上。 ? ? ? ? ? ?

8.完全大表全部數據的讀取 ? ? ? ? ? ??????

一直按照7進行,直到大表中的所有數據的讀取完畢。? ? ? ? ? ? ?

9.處理沒有join的數據 ? ? ? ? ? ??????

這個時候就產生了一大堆join好的數據和從R和S中計算存儲在磁盤上的分區(qū)。 ? ? ? ? ? ?

10.二次hash計算 ? ? ? ? ? ??????

從R和S的分區(qū)集中抽取出最小的一個分區(qū),使用第二種hash函數計算出并在內存中創(chuàng)建hash表。采用第二種hash函數的原因是為了使數據分布性更好。 ? ? ? ? ? ?

11.二次hash匹配 ? ? ? ? ? ??????

在從另一個數據源(與hash在內存的那個分區(qū)所屬數據源不同的)中讀取分區(qū)數據,與內存中的新hash表進行匹配。返回join數據。 ? ? ? ? ? ?

12.完成全部hash join ? ? ? ? ? ??????

繼續(xù)按照9-11處理剩余分區(qū),直到全部處理完畢。? ? ? ? ? ? ??????

整個hash join就完成了。? ? ? ? ? ? ?

四、?關于唯一健值的hash位圖 ? ? ? ? ? ??????

這個位圖包含了每個hash分區(qū)是否有有值的信息。它記錄了有數據的分區(qū)的hash值。這個位圖的最大作用就是,如果S表中的數據沒有與內存中的hash表匹配上,先查看這個位圖,已決定是否將沒有匹配的數據寫入磁盤。那些不可能匹配到的數據(即位圖上對應的分區(qū)沒有數據)就不再寫入磁盤。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯系該專欄作者,如若文章內容侵犯您的權益,請及時聯系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯合牽頭組建的NVI技術創(chuàng)新聯盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現場 NVI技術創(chuàng)新聯...

關鍵字: VI 傳輸協議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉