hadoop高可用搭建，hdfs高可用集群搭建
chanong
|环境布置
1. 服务器概述
主机名IP 描述nn01192.168.56.101 名称节点nn02192.168.56.102 名称节点n01192.168.56.103 数据节点n02192.168.56.104 数据节点n03192.168.56.105 数据节点nn01nn02dn01dn02dn03NameNode DataNode 资源管理器节点管理器 Zookeeper 日志节点 zkfc
在三台服务器上分别运行以下命令：
#添加主机[root@nn01 ~] vim /etc/hosts192.168.56.101 nn01192.168.56.102 nn02192.168.56.103 dn01192.168.56.104 dn02192.168.56.105 dn03#执行以下命令配置防火墙Close [ root @nn 01 ~ ]systemctl stopfirewalld systemctldisablefirewalld[root@nn01 ~]setenforce 0#将SELINUX的值改为disabled [root@nn01 ~]vim /etc/selinux/configSELINUX=disabled#服务器重启[root@nn01 ~]reboot2.JDK安装
#设置环境变量[root@nn01 ~]# vim /etc/profile# 最后添加# # Java环境路径export JAVA_HOME=/opt/java/jdk1.8.0_172export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=. $ JAVA_HOME /lib/dt.jar:$JAVA_HOME/lib/tools.jar# 更新配置文件source /etc/profile3。配置无密码登录。
#nn01 运行以下命令： # 生成密钥对，输入后一直回车。生成的私钥位于~/.ssh文件夹中[root@nn01 ~]# ssh-keygen -t rsa [root@nn01 .ssh]# scp /root/.ssh/id_rsa.pub root@nn01:~[root @nn01 .ssh]#cat ~/id_rsa.pub /root/.ssh/authorized_keys##nn02 运行以下命令[root@nn02 .ssh]#cat ~/id_rsa.pub /root/.ssh/authorized_keys## nn02 ,dn01 ,dn02,dn03 运行以下命令[root@nn02 ~]# mkdir -p ~/.ssh[root@nn02 ~]# cd .ssh/[root@nn02 .ssh]# cat ~/id_rsa.pub/root/.ssh/authorized_keys[root@nn02 .ssh]# vim /etc/ssh/sshd_config#禁止root账户登录。如果您想以root 用户身份登录，请启用PermitRootLogin。 yesPubkeyAuthentication 是的。 IP和主机名，无密码登录： 1）NameNode可以无需密码登录所有DataNode 2）每个NameNode可以无需密码登录自己3）每个NameNode可以无需密码登录对方4）DataNode可以登录自己无密码5) DataNode不需要配置无密码登录NameNode或其他DataNode。
本文来自toto1297488504的CSDN博客。全文地址点此：https://blog.csdn.net/tototuzuoquan/article/details/72983527 utm_source=copy
同样，允许nn02免密码登录nn01、dn01、dn02、dn03。
安装Zookeeper
mkdir -p /opt/zookeeper/cd /opt/zookeeper/tar -zxvfzookeeper-3.4.13.tar.gzcdzookeeper-3.4.13/conf/cpzoo_sample.cfgzoo.cfgvimzoo.cfgzoo.cfg
# 每个tick的毫秒数tickTime=2000#初始#同步阶段需要的tick数initLimit=10#发送请求和获得确认之间可以经过的tick数syncLimit=5#存储快照的目录#不要使用/tmp 进行存储。 /tmp # 只是一个示例Sakes.dataDir=/opt/data/zookeeper# 客户端连接的端口clientPort=2181# 最大客户端连接数。 # 如果您需要处理更多客户端，请执行此操作#maxClientCnxns=60 # # 在启用自动清除之前，请务必阅读管理员指南的维护部分。 ## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## dataDir#autopurge.snapRetainCount=3# 清除任务间隔（小时）# 设置为“0”以禁用自动清除功能#autopururge.purgeInterval=1server. 1=nn01:2888:3888server.2=nn02:2888:3888server.3=dn01:2888:3888server.4=dn02:2888:3888server.5=dn03:2888:388 8基本配置：
滴答时间
一次心跳的基本时间单位，毫秒级别，基本上ZK中的所有时间都是这个时间的整数倍。
初始化限制
TickTime 数字表示在领导者当选后，追随者与领导者同步所需的时间。如果你有大量的follower或者大量的leader数据，同步时间可能会相应增加，所以这个值也应该相应增加。当然，这个值也是follower和observers在开始同步leader数据之前等待的最长时间（setSoTimeout）。
同步限制
滴答次数。这个时间很容易与上面的时间混淆。它还代表追随者和观察者与领导者交互的最大延迟。仅当与阅读器的同步完成并且输入正常请求转发或ping 后，才会发生这种情况。以及其他消息交换和加班时间。
数据目录
内存数据库快照存储地址。如果不指定事务日志存储地址（dataLogDir），则默认保存到该路径。我们建议您将两个地址保存在不同的设备上。
客户端端口
配置ZK监听客户端连接的端口
server.serverid=host:tickpot:electionport
服务器：固定写入方法
serverid：为每台服务器指定的ID（必须在1-255范围内并且每台机器不能重复）
主机：主机名
Tickpot：心跳通讯端口
选举港： 选举港
#新建文件夹mkdir -p /opt/data/zookeepermkdir -p /opt/data/logs/zookeepertouch /opt/data/zookeeper/myid #复制到其他主机scp -r /opt/zookeeper root@nn02:/opt/scp - r /opt/data/zookeeper root@nn02:/opt/data/scp -r /opt/data/logs/zookeeper echo 1 /opt/data/zookeeper root@nn02:/opt/data/logs/#nn01 /myid 运行echo 2 在#nn02 上运行echo 3 在/opt/data/zookeeper/myid#dn01 上运行echo 4 在/opt/data/zookeeper/myid#dn02 上在/opt/data/zookeeper/myid#dn03 上运行echo 4 运行echo 5 添加/opt/data/zookeeper/myid# 环境变量。使用export ZOOKEEPER_HOME=/opt/zookeeper/zookeeper-3.4.13export PATH=$ZOOKEEPER_HOME/bin:$PATHsource /etc/profile 安装Hadoop。
1 下载Hadoop
mkdir -p /opt/hadoop/cd /opt/hadooptar -xf hadoop-3.1.1.tar.gz##设置环境变量。 HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binex 端口HADOOP_INSTALL=$HADOOP_ HOME# 创建一个新文件夹mkdir -p /opt/data/logs/hadoopmkdir -p /opt/data/hadoop/hdfs/nnmkdir -p /opt/data/hadoop/hdfs/dnmkdir -p /opt/data/hadoop/hdfs/jn 修改配置文件：/opt /hadoop/hadoop - 3.1.1/etc/hadoop/hadoop-env.sh
## 在文件顶部，根据您的服务器配置设置jvm 内存大小。 ' -Xms512m - Xmx512m\'导出HADOOP_LOG_DIR=/opt/data/logs/hadoop/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml
xml version=\'1.0\' 编码=\'UTF-8\' xml-stylesheet type=\'text/xsl\' href=\'configuration.xsl\' fs.defaultFS hdfs://mycluster hadoop.tmp.dir /opt/data/hadoop/tmp ha.zookeeper.quorum nn01:2181、nn02:2181、dn01:2181、dn02:2181、dn03:2181 ha.zookeeper.session-timeout.ms 30000 ms fs.trash.interval 1440 /op t /hadoop/hadoop-3.1.1 /etc/hadoop/hdfs-site.xml
xml版本=\'1.0\'编码=\'UTF-8\'xml样式表类型=\'text/xsl\'href=\'configuration.xsl\'dfs.qjournal.start-segment.timeout.ms 60000 dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn01,nn02 dfs.namenode.rpc-address.mycluster.nn01 nn01:8020 dfs.namenode.rpc-address.mycluster.nn02 nn02:8020 dfs.namenode.http-address.mycluster.nn01 nn0133 36050070 dfs.namenode.html 3608485/mycluster dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence Shell(/bin/true) dfs .permissions.enabled false dfs.support.append true dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.replication 2 dfs.namenode.name.dir /opt/data/hadoop/hdfs /nn dfs.datanode.data.dir /opt/data/hadoop/hdfs/dn dfs.journalnode.edits.dir /opt/data/hadoop/hdfs/jn dfs.ha.automatic-failover.enabled true dfs.webhdfs。启用true dfs.ha.fencing.ssh.connect-timeout 30000 ha.failover-controller.cli-check .rpc-timeout.ms 60000 /opt/hadoop/hadoop-3.1.1/etc/hadoop/mapred-site.xml
xml版本=\'1.0\' xml样式表类型=\'text/xsl\' href=\'configuration.xsl\'mapreduce.framework.name线程mapreduce.jobhistory.address nn01:10020 mapreduce.jobhistory.webapp.address nn01:19888 mapreduce .application.classpath /opt/hadoop/hadoop-3.1.1/etc/hadoop、/opt/hadoop/hadoop-3.1.1/share/hadoop/common/*、/opt/hadoop/hadoop-3.1.1/share /hadoop/common/lib/*, /opt/hadoop/hadoop-3.1.1/share/hadoop/hdfs/*, /opt/hadoop/hadoop-3.1.1/share/hadoop/hdfs/lib/*, /选择/hadoop/hadoop-3.1.1/share/hadoop/mapreduce/*，/opt/hadoop/hadoop-3.1.1/share/hadoop/mapreduce/lib/*，/opt/hadoop/hadoop-3.1.1/共享/hadoop/yarn/*，/opt/hadoop/hadoop-3.1.1/share/hadoop/yarn/lib/* /opt/hadoop/hadoop-3.1.1/etc/hadoop/yarn-site.xml
xml version=\'1.0\' thread.resourcemanager.ha.enabled true thread.resourcemanager.cluster-id yrc thread.resourcemanager.ha.rm-ids rm1,rm2 thread.resourcemanager.hostname.rm1 nn01 thread.resourcemanager.hostname。 rm2 nn02yarn.resourcemanager.zk-地址nn01:2181、nn02:2181、dn01:2181、dn02:2181、dn03:2181yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.log-aggregation-enabletrueyarn.log- agg regation.retain-seconds 86400yarn.resourcemanager.recovery.有效的真实舌头.resourcemanager .store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore /opt/hadoop/hadoop-3.1.1/etc/hadoop/workers
dn01dn02dn03/opt/hadoop/hadoop-3.1.1/sbin/start-dfs.sh sbin/stop-dfs.sh
HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_ZKFC_USER=rootHDFS_JOURNALNODE_USER=rootHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root/opt/hadoop/hadoop-3.1.1/sbin/start-yarn.sh sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=YARN_NODEMANAGER_USER=已将root 复制到其他计算机
scp -r /opt/数据根@nn02:/opt/scp -r /opt/数据根@dn01:/opt/scp -r /opt/数据根@dn02:/opt/scp -r /opt/数据根@dn03:/opt/scp -r /opt/hadoop/hadoop-3.1.1 root@nn02:/opt/hadoop/scp -r /opt/hadoop/hadoop-3.1.1 root@dn01:/opt/hadoop/scp -r /opt/hadoop/hadoop-3.1.1 root@dn02:/opt/hadoop/scp -r /opt/hadoop/hadoop-3.1.1 root@dn03:/opt/hadoop/start
Zookeeper - JournalNode - 格式化NameNode - 创建命名空间（zkfc） - NameNode - DataNode - ResourceManager - NodeManager。
1.启动Zookeeper
nn01、nn02、dn01、dn02、dn03
zkServer.sh start2.启动日志节点
nn01、nn02、dn01、dn02、dn03
hadoop-daemon.sh startjournalnode3.namenode 格式
NN01
hadoop namenode -format 将nn01节点上生成的元数据复制到其他节点。
scp -r /opt/data/hadoop/hdfs/nn/* root@nn02:/opt/data/hadoop/hdfs/nn/scp -r /opt/data/hadoop/hdfs/nn/* root@dn01:/opt/数据/hadoop/hdfs/nn/scp -r /opt/data/hadoop/hdfs/nn/* root@dn02:/opt/data/hadoop/hdfs/nn/scp -r /opt/data/hadoop/hdfs/nn /* root@dn03:/opt/data/hadoop/hdfs/nn/4.格式化zkfc
重要一点：nn01 只能在nameonde 节点上运行。
hdfs zkfc -formatZK5.启动HDFS。
重要一点：nn01 只能在nameonde 节点上运行。
start-dfs.sh6.启动YARN
选择并启动活动和备用资源管理器之一。
NN02
start-yarn.sh 如果备份节点资源管理器未启动，请手动启动。舌头-daemon.sh启动资源管理器
7. 启动MapReduce任务历史服务器。
mr-jobhistory-daemon.sh启动Historyserver8.状态查看
查看各个master节点的状态
hdfs haadmin -getServiceState nn01hdfs haadmin -getServiceState nn02[root@nn01 hadoop]# hdfs haadmin -getServiceState nn01WARNING: HADOOP_PREFIX 已替换为HADOOP_HOME。使用HADOOP_PREFIX 的值。 2018-09-27 11:06:58,8 92 警告util.NativeCodeLoader: 无法加载本机平台hadoop 库.使用内置Java 类（如果适用） active[root@nn01 hadoop]#[root@nn01 hadoop]# [root@ nn01 hadoop]#[root@nn01 hadoop]# hdfs haadmin -getServiceState nn02WARNING: HADOOP_PREFIX 已替换为HADOOP_HOME。使用HADOOP_PREFIX 的值。 2018-09-27 11:07:02,217 警告util.NativeCodeLoader: 无法加载平台本机Hadoop 库.如果适用，请使用内置Java 类standby[root@nn01 hadoop]#[ root@nn01 hadoop]# yarn rmadmin -getServiceState rm1WARNING: HADOOP_PREFIX 已被HADOOP_HOME 取代。使用HADOOP_PREFIX 的值。 2018-09-27 11:07:45,112 WARN util.NativeCodeLoader: 无法加载构建平台的本机Hadoop 库.在-java 类（如果适用）standby[root@nn01 hadoop]#[root@nn01 hadoop]# [root@ nn01 hadoop]#[root@nn01 hadoop]#yarn rmadmin -getServiceState rm2WARNING: HADOOP_PREFIX 已替换为HADOOP_HOME。使用HADOOP_PREFIX 的值。 2018-09-27 11:07:48,350 警告util.NativeCodeLoader: 无法加载平台本机Hadoop 库.如果适用，请使用内置Java 类active[root@nn01 hadoop]#Show WEB 界面
##HDFShttp://192.168.56.101:50070/http://192.168.56.102:50070/#YARNhttp://192.168.56.102:8088/集群