www.久久久久|狼友网站av天堂|精品国产无码a片|一级av色欲av|91在线播放视频|亚洲无码主播在线|国产精品草久在线|明星AV网站在线|污污内射久久一区|婷婷综合视频网站

當前位置：首頁 > 芯聞號 > 充電吧

CentOS 7下安裝集群Hadoop-2.7.3

時間：2019-09-11 08:18:02
關鍵字： centos    集群   
手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]hostname與/etc/hosts的關系 很過人一提到更改hostname首先就想到修改/etc/hosts文件，認為hostname的配置文件就是/etc/hosts。其實不是的。 host

hostname與/etc/hosts的關系 
很過人一提到更改hostname首先就想到修改/etc/hosts文件，認為hostname的配置文件就是/etc/hosts。其實不是的。 
hosts文件的作用相當如DNS，提供IP地址到hostname的對應。早期的互聯(lián)網(wǎng)計算機少，單機hosts文件里足夠存放所有聯(lián)網(wǎng)計算機。不過隨著互聯(lián)網(wǎng)的發(fā)展，這就遠遠不夠了。于是就出現(xiàn)了分布式的DNS系統(tǒng)。由DNS服務器來提供類似的IP地址到域名的對應。具體可以man hosts。 
Linux系統(tǒng)在向DNS服務器發(fā)出域名解析請求之前會查詢/etc/hosts文件，如果里面有相應的記錄，就會使用hosts里面的記錄。/etc/hosts文件通常里面包含這一條記錄

轉至 https://my.oschina.net/xhhuang/blog/807914

一、硬件環(huán)境

我使用的硬件是云創(chuàng)的一個minicloud設備。由三個節(jié)點（每個節(jié)點8GB內(nèi)存+128GB SSD+3塊3TB SATA）和一個千兆交換機組成。

二、安裝前準備

1.在CentOS 7下新建hadoop用戶，官方推薦的是hadoop、mapreduce、yarn分別用不同的用戶安裝，這里我為了省事就全部在hadoop用戶下安裝了。

2.下載安裝包：

1）JDK：jdk-8u112-linux-x64.rpm

下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2）Hadoop-2.7.3：hadoop-2.7.3.tar.gz

下載地址：http://archive.apache.org/dist/hadoop/common/stable2/
3.卸載CentOS 7自帶的OpenJDK（root權限下）

1）首先查看系統(tǒng)已有的openjdk

rpm -qa|grep jdk

看到如下結果：

[hadoop@localhost Desktop]$ rpm -qa|grep jdk
java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64

2）卸載上述找到的openjdk包

yum -y remove java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
yum -y remove java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64
yum -y remove java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64
yum -y remove java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64

4.安裝Oracle JDK（root權限下）

rpm -ivh jdk-8u112-linux-x64.rpm

安裝完畢后，jdk的路徑為/usr/java/jdk1.8.0_112

接著將安裝的jdk的路徑添加至系統(tǒng)環(huán)境變量中：

vi /etc/profile

在文件末尾加上如下內(nèi)容：

export JAVA_HOME=/usr/java/jdk1.8.0_112
export JRE_HOME=/usr/java/jdk1.8.0_112/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

關閉profile文件，執(zhí)行下列命令使配置生效：

source /etc/profile

此時我們就可以通過java -version命令檢查jdk路徑是否配置成功，如下所示：

[root@localhost jdk1.8.0_112]# java -version
java version "1.8.0_112"
Java(TM) SE Runtime Environment (build 1.8.0_112-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)
[root@localhost jdk1.8.0_112]#

5.關閉防火墻（root權限下）

執(zhí)行下述命令關閉防火墻：

systemctl stop firewalld.service  
systemctl disable firewalld.service

在終端效果如下：

[root@localhost Desktop]# systemctl stop firewalld.service 
[root@localhost Desktop]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.
[root@localhost Desktop]#

6.修改主機名并配置相關網(wǎng)絡（root權限下）

1）修改主機名

在master主機上

hostnamectl set-hostname Master

在slave1主機上

hostnamectl set-hostname slave1

在slave2主機上

hostnamectl set-hostname slave2

2）配置網(wǎng)絡

以master主機為例，演示如何配置靜態(tài)網(wǎng)絡及host文件。

我的機器每個節(jié)點有兩塊網(wǎng)卡，我配置其中一塊網(wǎng)卡為靜態(tài)IP作為節(jié)點內(nèi)部通信使用。

vi /etc/sysconfig/network-scripts/ifcfg-enp7s0

（注：我的master機器上要配置的網(wǎng)卡名稱為ifcfg-enp7s0）

ifcfg-enp7s0原始內(nèi)容如下：

TYPE=Ethernet
BOOTPROTO=dhcp
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp7s0
UUID=914595f1-e6f9-4c9b-856a-c4bd79ffe987
DEVICE=enp7s0
ONBOOT=no

修改為：

TYPE=Ethernet
ONBOOT=yes
DEVICE=enp7s0
UUID=914595f1-e6f9-4c9b-856a-c4bd79ffe987
BOOTPROTO=static
IPADDR=59.71.229.189
GATEWAY=59.71.229.254
DEFROUTE=yes
IPV6INIT=no
IPV4_FAILURE_FATAL=yes

3）修改/etc/hosts文件

vi /etc/hosts

加入以下內(nèi)容：

59.71.229.189 master
59.71.229.190 slave1
59.71.229.191 slave2

為集群中所有節(jié)點執(zhí)行上述的網(wǎng)絡配置及hosts文件配置。

7.配置集群節(jié)點SSH免密碼登錄（hadoop權限下）

這里我為了方便，是配置的集群中任意節(jié)點能夠SSH免密碼登錄到集群其他任意節(jié)點。具體步驟如下：

1）對于每一臺機器，在hadoop用戶下執(zhí)行以下指令：

ssh-keygen -t rsa -P ''

直接按Enter到底。

2）對于每臺機器，首先將自己的公鑰加到authorized_keys中，保證ssh localhost無密碼登錄：

cat id_rsa.pub >> authorized_keys

3）然后將自己的公鑰添加至其他每臺機器的authorized_keys中，在此過程中需要輸入其他機器的密碼：

master：

scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/id_rsa_master.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/.ssh/id_rsa_master.pub

slave1：

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/id_rsa_slave1.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/.ssh/id_rsa_slave1.pub

slave2：

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:/home/hadoop/.ssh/id_rsa_slave2.pub
scp /home/hadoop/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/id_rsa_slave2.pub

4）分別進每一臺主機的/home/hadoop/.ssh/目錄下，將除本機產(chǎn)生的公鑰（id_rsa.pub）之外的其他公鑰使用cat命令添加至authorized_keys中。添加完畢之后使用chmod命令給authorized_keys文件設置權限，然后使用rm命令刪除所有的公鑰：

master：

cat id_rsa_slave1.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

slave1：

cat id_rsa_master.pub >> authorized_keys
cat id_rsa_slave2.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

slave2：

cat id_rsa_master.pub >> authorized_keys
cat id_rsa_slave1.pub >> authorized_keys
chmod 600 authorized_keys
rm id_rsa*.pub

完成上述步驟，就可以實現(xiàn)從任意一臺機器通過ssh命令免密碼登錄任意一臺其他機器了。

三、安裝和配置Hadoop（下述步驟在hadoop用戶下執(zhí)行）

1.將hadoop-2.7.3.tar.gz文件解壓至/home/hadoop/目錄下（在本文檔中，文件所在地是hadoop賬戶下桌面上）可通過下述命令先解壓至文件所在地：

tar -zxvf hadoop-2.7.3.tar.gz

然后將解壓的文件hadoop-2.7.3所有內(nèi)容拷貝至/home/hadoop目錄下，拷貝之后刪除文件所在地的hadoop文件夾：

cp -r /home/hadoop/Desktop/hadoop-2.7.3 /home/hadoop/

2.具體配置過程：

1）在master上，首先/home/hadoop/目錄下創(chuàng)建以下目錄：

mkdir -p /home/hadoop/hadoopdir/name
mkdir -p /home/hadoop/hadoopdir/data
mkdir -p /home/hadoop/hadoopdir/temp
mkdir -p /home/hadoop/hadoopdir/logs
mkdir -p /home/hadoop/hadoopdir/pids

2）然后通過scp命令將hadoopdir目錄復制至其他節(jié)點：

scp -r /home/hadoop/hadoopdir hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoopdir hadoop@slave2:/home/hadoop/

3）進入/home/hadoop/hadoop-2.7.3/etc/hadoop目錄下，修改以下文件：

hadoop-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_112
export HADOOP_LOG_DIR=/home/hadoop/hadoopdir/logs
export HADOOP_PID_DIR=/home/hadoop/hadoopdir/pids

mapred-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_112
export HADOOP_MAPRED_LOG_DIR=/home/hadoop/hadoopdir/logs
export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopdir/pids

yarn-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_112
YARN_LOG_DIR=/home/hadoop/hadoopdir/logs

Slaves文件：

#localhost
slave1
slave2

（注意：如果slaves文件里面不注釋localhost，意思是把本機也作為一個DataNode節(jié)點）

core-site.xml：


    
        fs.defaultFS
        hdfs://master:9000   
    
    
        io.file.buffer.size
        131072
    
    
        hadoop.tmp.dir
        file:///home/hadoop/hadoopdir/temp
    


hdfs-site.xml：


    
        dfs.namenode.name.dir
        file:///home/hadoop/hadoopdir/name
    
    
        dfs.datanode.data.dir
        file:///home/hadoop/hadoopdir/data
    
    
        dfs.replication
        2
    
    
        dfs.blocksize
        64m
    
    
        dfs.namenode.secondary.http-address
        master:9001
    
    
        dfs.webhdfs.enabled
        true
    


mapred-site.xml：

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

    
        mapreduce.framework.name
        yarn
        true
    
    
        mapreduce.jobhistory.address
        master:10020
    
    
        mapreduce.jobtracker.http.address
        master:50030
    
    
        mapred.job.tracker
        http://master:9001
    
    
        mapreduce.jobhistory.webapp.address
        master:19888
    


yarn-site.xml：


    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.nodemanager.aux-services.mapreduce_shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler


    yarn.resourcemanager.hostname
    master


    yarn.resourcemanager.scheduler.address
    master:8030


    yarn.resourcemanager.resource-tracker.address
    master:8031


    yarn.resourcemanager.address
    master:8032


    yarn.resourcemanager.admin.address
    master:8033


    yarn.resourcemanager.webapp.address
    master:8088

4）master機器下，將/home/hadoop/hadoop-2.7.3目錄里面所有內(nèi)容拷貝至其他節(jié)點

scp -r /home/hadoop/hadoop-2.7.3 hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.7.3 hadoop@slave2:/home/hadoop/

5）進入/home/hadoop/hadoop-2.7.3/bin目錄，格式化文件系統(tǒng)：

./hdfs namenode -format

格式化文件系統(tǒng)會產(chǎn)生一系列的終端輸出，在輸出最后幾行看到STATUS=0表示格式化成功，如果格式化失敗請詳細查看日志確定錯誤原因。
下面是我的錯誤和解決方法：

17/10/26 19:44:34 INFO ipc.Client: Retrying connect to server: slave2/192.168.84.202:8485. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:34 INFO ipc.Client: Retrying connect to server: slave3/192.168.84.203:8485. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:34 INFO ipc.Client: Retrying connect to server: slave1/192.168.84.201:8485. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:35 INFO ipc.Client: Retrying connect to server: slave2/192.168.84.202:8485. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:35 INFO ipc.Client: Retrying connect to server: slave3/192.168.84.203:8485. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:35 INFO ipc.Client: Retrying connect to server: slave1/192.168.84.201:8485. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:36 INFO ipc.Client: Retrying connect to server: slave2/192.168.84.202:8485. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:36 WARN namenode.NameNode: Encountered exception during format: 
org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:
192.168.84.202:8485: Call From master/192.168.84.200 to slave2:8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:223)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:232)
    at org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:901)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat(FSImage.java:184)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:988)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
17/10/26 19:44:36 INFO ipc.Client: Retrying connect to server: slave1/192.168.84.201:8485. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:36 INFO ipc.Client: Retrying connect to server: slave3/192.168.84.203:8485. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
17/10/26 19:44:36 ERROR namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:
192.168.84.202:8485: Call From master/192.168.84.200 to slave2:8485 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:223)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:232)
    at org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:901)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat(FSImage.java:184)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:988)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
17/10/26 19:44:36 INFO util.ExitUtil: Exiting with status 1
17/10/26 19:44:36 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.84.200
************************************************************/


6）進入/home/hadoop/hadoop-2.7.3/sbin目錄：

./start-dfs.sh
./start-yarn.sh

上述命令就啟動了hdfs和yarn。hadoop集群就跑起來了，如果要關閉，在sbin目錄下執(zhí)行以下命令：

./stop-yarn.sh
./stop-dfs.sh

7）HDFS啟動示例

執(zhí)行start-dfs.sh之后，可以在master:50070網(wǎng)頁上看到如下結果，可以看到集群信息和datanode相關信息：

執(zhí)行start-yarn.sh之后，可以在master:8088網(wǎng)頁上看到如下結果，可以看到集群信息相關信息：

本站聲明： 本文章由作者或相關機構授權發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權益，請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息，不造車的華為或將催生出更大的獨角獸公司，隨著阿維塔和賽力斯的入局，華為引望愈發(fā)顯得引人矚目。

關鍵字： 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉型技術解決方案公司Trianz今天宣布，該公司與Amazon Web Services （AWS）簽訂了...

關鍵字： AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產(chǎn)品SODA V，這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具，可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字： 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行，同時企業(yè)卻面臨越來越多業(yè)務中斷的風險，如企業(yè)系統(tǒng)復雜性的增加，頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性，提升韌性，成...

關鍵字： 亞馬遜 解密 控制平面 BSP

8月30日消息，據(jù)媒體報道，騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關鍵字： 騰訊 編碼器 CPU

8月28日消息，今天上午，2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行，華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字： 華為 12nm EDA 半導體

8月28日消息，在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上，華為常務董事、華為云CEO張平安發(fā)表演講稱，數(shù)字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字： 華為 12nm 手機 衛(wèi)星通信

要點： 有效應對環(huán)境變化，經(jīng)營業(yè)績穩(wěn)中有升 落實提質增效舉措，毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著，戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領，提升企業(yè)核心競爭力 堅持高質量發(fā)展策略，塑強核心競爭優(yōu)勢...

關鍵字： 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日，由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字： VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上，軟通動力信息技術（集團）股份有限公司（以下簡稱"軟通動力"）與長三角投資（上海）有限...

關鍵字： BSP 信息技術
關閉
關閉