www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當(dāng)前位置:首頁(yè) > 智能硬件 > 人工智能AI
[導(dǎo)讀] 1. Hadoop概述 HADOOP是apache旗下的一套開源軟件平臺(tái),利用服務(wù)器集群,根據(jù)用戶的自定義業(yè)務(wù)邏輯,對(duì)海量數(shù)據(jù)進(jìn)行分布式處理 HADOOP的核心組件有: HD

1. Hadoop概述

HADOOP是apache旗下的一套開源軟件平臺(tái),利用服務(wù)器集群,根據(jù)用戶的自定義業(yè)務(wù)邏輯,對(duì)海量數(shù)據(jù)進(jìn)行分布式處理

HADOOP的核心組件有:
HDFS(分布式文件系統(tǒng))
YARN(運(yùn)算資源調(diào)度系統(tǒng))
MAPREDUCE(分布式運(yùn)算編程框架)

2. HDFS的概念

hdfs是一個(gè)文件系統(tǒng),用于存儲(chǔ)文件,通過統(tǒng)一的命名空間–目錄樹來定位文件。它是分布式的,由很多服務(wù)器聯(lián)合起來實(shí)現(xiàn)其功能,集群中的服務(wù)器有各自的角色。主要特性如下

HDFS中的文件在物理上是分塊存儲(chǔ)(block),塊的大小可以通過配置參數(shù)( dfs.blocksize)來規(guī)定,默認(rèn)大小在hadoop2.x版本中是128M,老版本中是64M.

HDFS文件系統(tǒng)會(huì)給客戶端提供一個(gè)統(tǒng)一的抽象目錄樹,客戶端通過路徑來訪問文件,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

目錄結(jié)構(gòu)及文件分塊信息(元數(shù)據(jù))的管理由namenode節(jié)點(diǎn)承擔(dān)
——namenode是HDFS集群主節(jié)點(diǎn),負(fù)責(zé)維護(hù)整個(gè)hdfs文件系統(tǒng)的目錄樹,以及每一個(gè)路徑(文件)所對(duì)應(yīng)的block塊信息(block的id,及所在的datanode服務(wù)器)

件的各個(gè)block的存儲(chǔ)管理由datanode節(jié)點(diǎn)承擔(dān)
—- datanode是HDFS集群從節(jié)點(diǎn),每一個(gè)block都可以在多個(gè)datanode上存儲(chǔ)多個(gè)副本(副本數(shù)量也可以通過參數(shù)設(shè)置dfs.replicaTIon)

HDFS是設(shè)計(jì)成適應(yīng)一次寫入,多次讀出的場(chǎng)景,且不支持文件的修改

3. hdfs不適用的場(chǎng)景

低延遲的數(shù)據(jù)訪問:hdfs的強(qiáng)項(xiàng)在與大量數(shù)據(jù)傳輸,延遲不適合他,10毫秒一下的訪問可以無(wú)視hdfs,不過hbase可以彌補(bǔ)這個(gè)缺陷。

太多小文件: namenode節(jié)點(diǎn)在內(nèi)存中hold住了整個(gè)文件系統(tǒng)的元數(shù)據(jù),因此文件的數(shù)量就會(huì)受到限制,每個(gè)文件的元數(shù)據(jù)大約150字節(jié),1百萬(wàn)個(gè)文件,每個(gè)文件只占一個(gè)block,那么就需要300MB內(nèi)存。你的服務(wù)器可以hold住多少呢?

多處寫和隨機(jī)修改:目前還不支持多處寫入以及通過偏量隨機(jī)修改。

4. namenodes和datanodes

hdfs集群有兩種類型的節(jié)點(diǎn),一種為master及namenode,另一種為worker及datanodes。namenode節(jié)點(diǎn)管理文件系統(tǒng)的命名空間。它包含一個(gè)文件系統(tǒng)的樹,所有文件和目錄的原數(shù)據(jù)都在這個(gè)樹上,這些信息被存儲(chǔ)在本地磁盤的兩個(gè)文件中,image文件和edit log文件。文件相關(guān)的塊存在哪個(gè)塊中,塊在哪個(gè)地方,這些信息都是在系統(tǒng)啟動(dòng)的時(shí)候加載namenode的內(nèi)存中,并不會(huì)存儲(chǔ)在磁盤中。datanode節(jié)點(diǎn)在文件系統(tǒng)中充當(dāng)?shù)慕巧褪强嗔?,按照namenode和client的指令進(jìn)行存儲(chǔ)或者檢索block,并且周期性的向namenode節(jié)點(diǎn)報(bào)告它存了哪些文件的block。

5. secondarynamenode

它是namenode的一個(gè)快照,會(huì)根據(jù)configuraTIon中設(shè)置的值來決定多少時(shí)間周期性的去cp一下namenode,記錄namenode中的metadata及其它數(shù)據(jù)。

6. NodeManager(NM)

NodeManager是YARN中每個(gè)節(jié)點(diǎn)上的代理,它管理Hadoop集群中單個(gè)計(jì)算節(jié)點(diǎn)包括與ResourceManger保持通信,監(jiān)督Container的生命周期管理,監(jiān)控每個(gè)Container的資源使用(內(nèi)存、CPU等)情況,追蹤節(jié)點(diǎn)健康狀況。

7. ResourceManager

在YARN中,ResourceManager負(fù)責(zé)集群中所有資源的統(tǒng)一管理和分配,它接收來自各個(gè)節(jié)點(diǎn)(NodeManager)的資源匯報(bào)信息,并把這些信息按照一定的策略分配給各個(gè)應(yīng)用程序(實(shí)際上是ApplicaTIonManagerRM與每個(gè)節(jié)點(diǎn)的NodeManagers (NMs)和每個(gè)應(yīng)用ApplicaTIonMasters (AMs)一起工,b.ApplicationMasters負(fù)責(zé)與ResourceManager協(xié)商資源與NodeManagers合作啟動(dòng)容器.

8. hdfs客服端常用命令 hadoop fs-ls///如果提示警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...原因:系統(tǒng)預(yù)裝的glibc庫(kù)是2.12版本,而hadoop期望是2.14版本,所以打印警告信息。 解決方案:在log4j日志中去除告警信息,在/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加:log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR-ls功能:顯示目錄信息 示例: hadoop fs-lshdfs://localhost:9000/備注:這些參數(shù)中,所有的hdfs路徑都可以簡(jiǎn)寫-->hadoop fs-ls/等同于上一條命令的效果-mkdir功能:在hdfs上創(chuàng)建目錄 示例:hadoop fs-mkdir-p/aaa/bbb/cc/dd-moveFromLocal功能:從本地剪切粘貼到hdfs 示例:hadoop fs-moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd-moveToLocal功能:從hdfs剪切粘貼到本地 示例:hadoop fs-moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt--appendToFile 功能:追加一個(gè)文件到已經(jīng)存在的文件末尾 示例:hadoop fs-appendToFile./hello.txt hdfs://hadoop-server01:9000/hello.txt可以簡(jiǎn)寫為: Hadoop fs-appendToFile./hello.txt /hello.txt-cat功能:顯示文件內(nèi)容 示例:hadoop fs-cat/hello.txt-chmod功能:linux文件系統(tǒng)中的用法一樣,對(duì)文件所屬權(quán)限 示例: hadoop fs-chmod666/hello.txt-copyFromLocal功能:從本地文件系統(tǒng)中拷貝文件到hdfs路徑去 示例:hadoop fs-copyFromLocal./jdk.tar.gz /aaa/-copyToLocal功能:從hdfs拷貝到本地 示例:hadoop fs-copyToLocal/aaa/jdk.tar.gz-cp功能:從hdfs的一個(gè)路徑拷貝hdfs的另一個(gè)路徑 示例: hadoop fs-cp/aaa/jdk.tar.gz /bbb/jdk.tar.gz.2-mv功能:在hdfs目錄中移動(dòng)文件 示例: hadoop fs-mv/aaa/jdk.tar.gz/-get功能:等同于copyToLocal,就是從hdfs下載文件到本地 示例:hadoop fs-get/aaa/jdk.tar.gz-getmerge功能:合并下載多個(gè)文件 示例:比如hdfs的目錄 /aaa/下有多個(gè)文件:log.1,log.2,log.3,...hadoop fs-getmerge/aaa/log.*./log.sum-put功能:等同于copyFromLocal 示例:hadoop fs-put/aaa/jdk.tar.gz /bbb/jdk.tar.gz.2-rm功能:刪除文件或文件夾 示例:hadoop fs-rm-r/aaa/bbb/-rmdir功能:刪除空目錄 示例:hadoop fs-rmdir/aaa/bbb/ccc-df功能:統(tǒng)計(jì)文件系統(tǒng)的可用空間信息 示例:hadoop fs-df-h/-du功能:統(tǒng)計(jì)文件夾的大小信息 示例: hadoop fs-du-s-h/aaa/* -count 功能:統(tǒng)計(jì)一個(gè)指定目錄下的文件節(jié)點(diǎn)數(shù)量 示例:hadoop fs -count /aaa/9. java操作HDFS1.引入依賴org.apache.hadoophadoop-client2.6.12.測(cè)試類 publicclassOperationFileTest{FileSystem fs =null; Configuration conf =null;/** * 初始化文件系統(tǒng)操作的客戶端實(shí)例對(duì)象 */@Beforepublic void init()throwsIOException, URISyntaxException, InterruptedException { conf =newConfiguration();// uri和用戶身份 ---> 一個(gè)文件系統(tǒng)操作的客戶端實(shí)例對(duì)象fs = FileSystem.get(newURI("hdfs://192.168.133.11:9000"),conf,"root"); }/** * 上傳文件 */@Testpublic void testUpload()throwsIOException { fs.copyFromLocalFile(newPath("D:\examProject.rar"),newPath("/examProject.rar")); fs.close(); }/** * 下載文件 */@Testpublic void testDownload()throwsException{ Path remotePath =newPath("/examProject.rar"); Path localPath =newPath("f:/"); fs.copyToLocalFile(remotePath,localPath); fs.close(); }/** * conf加載的內(nèi)容 */@Testpublic void testConf(){ Iterator

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉