hadoop环境搭建步骤，hadoop 搭建
chanong
|6.指定磁盘容量，指定分配给Linux虚拟机的硬盘大小。默认为20G。下一步。
7. 单击“自定义硬件”以查看和更改虚拟机的硬件配置。我们不会在这里改变它。
8、点击完成即可创建虚拟机，不过此时虚拟机还是一个空壳，没有操作系统，接下来就可以安装操作系统了。
9. 单击编辑虚拟机设置，找到DVD，然后指定操作系统ISO 文件的位置。
10. 单击启动此虚拟机，然后选择第一个Enter 键开始安装操作系统。
11.设置root密码。
12. 选择“桌面”来安装Xwindow。
13.先不要添加普通用户，其他用户使用默认用户。现在将安装Linux。
4. 设置网络
由于VMware NAT设置中关闭了DHCP自动分配IP功能，Linux还没有分配IP，需要配置各种网络参数。
1. 以root 身份进入Xwindow，右键单击右上角的网络连接图标，然后选择更改连接。
2. 网络连接列出了当前Linux 中的所有网卡。唯一的网卡是系统eth0。单击编辑。
3. 设置IP、子网掩码、网关（与NAT设置相同）、DNS等参数。由于NAT中网段设置为100.*，因此本机可以设置为192.168.100.10。网关与NAT相匹配。如192.168.100.2
4. 检查是否可以通过ping 方式连接到外网。连接成功如下图。
5. 更改主机名
1.临时更改主机名
[root@localhost Desktop]# hostname bigdata-senior01.chybinmy.com1 重新启动系统后此更改不会生效。
2. 永久更改主机名
如果要进行永久更改，则需要修改配置文件/etc/sysconfig/network。
命令：[root@bigdata-senior01 ~] vim 打开/etc/sysconfig/network1 文件后，
NETWORKING=yes #使用网络HOSTNAME=bigdata-senior01.chybinmy.com #设置主机名12 6.主机配置
命令：[root@bigdata-senior01 ~] vim /etc/hosts add ports: 192.168.100.10 bigdata-senior01.chybinmy.com12 7. 关闭防火墙。
学**环境中的防火墙可以直接关闭。
(1) 以root用户登录后，执行查看防火墙状态。
[root@bigdata-senior01 hadoop]# service iptables status1(2) [root@bigdata-senior01 hadoop]# 使用service iptables stop 关闭防火墙。这是为了暂时关闭防火墙。
[root@bigdata-senior01 hadoop-2.5.0]# service iptables stopiptables: 将链设置为策略ACCEPT: 过滤器[ OK ]iptables: 刷新防火墙规则： [ OK ]iptables: 卸载模块： [ OK ]1234(3) 保留防火墙。
[root@bigdata-senior01 hadoop]# chkconfig iptables off1 关闭。需要重新启动才能生效。
8.关闭selinux
selinux 是Linux 中的一种子安全机制，可以在学**环境中禁用。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux1# 该文件控制系统上SELinux 的状态。 # SELINUX=可以采用这三个值中的任何一个：# enforcing - 强制执行SELinux 安全策略。# permissive - SELinux 打印警告而不是强制执行。 #disabled - 未加载SELinux 策略。 SELINUX=disabled# SELINUXTYPE=可以采用这两个值之一。# 目标- 目标进程受到保护。 # mls - 多级安全保护.SELINUXTYPE=targeted12345678910第3步.安装JDK
9.安装Java JDK
1.检查是否安装了Java JDK。
[root@bigdata-senior01 Desktop]# java version1 注意：Hadoop机器上的JDK最好是Oracle的Java JDK，否则会遇到缺少JPS命令等问题。
如果安装了其他版本的JDK，请将其卸载。
2.安装Java JDK
（1）下载Oracle版本的Java JDK：jdk-7u67-linux-x64.tar.gz
（2）解压jdk-7u67-linux-x64.tar.gz到/opt/modules目录。
[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules1(3) 添加环境变量
设置JDK环境变量JAVA_HOME。需要修改配置文件/etc/profile，添加：
import JAVA_HOME=\'/opt/modules/jdk1.7.0_67\'export PATH=$JAVA_HOME/bin:$PATH12 更改后，运行source /etc/profile。
(4)安装完成后，再次运行java version，确�**沧巴瓿伞�
[root@bigdata-senior01 /]# java -versionjava version \'1.7.0_67\'Java(TM) SE 运行时环境(Build 1.7.0_67-b01)Java HotSpot(TM) 64 位服务器VM (Build 24.65-b04) ) ，混合模式）1234 第2 部分：安装Hadoop 本地模式
步骤4.Hadoop部署模式
Hadoop的部署模式包括本地模式、伪分布式模式、全分布式模式、HA全分布式模式。
区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在多个JVM进程、多台机器上。
模式名称各模块占用的JVM进程数各模块运行的机器数本地模式1 1 伪分布式模式N 1 全分布式模式N N HA 全分布式N N
步骤5：部署本地模式
10. 本地模式概述
本地模式是最简单的模式。所有模块都在JVM 进程中运行，并使用本地文件系统而不是HDFS。本地模式主要用于本地开发时的运行和调试。下载Hadoop安装包后无需配置，默认为本地模式。
11.Hadoop解压后可以直接使用
1.创建一个目录来保存本地模式的Hadoop。
[hadoop@bigdata-senior01 module]$ mkdir /opt/modules/hadoopstandalone12.解压hadoop文件。
[hadoop@bigdata-senior01 module]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/13.请确保JAVA_HOME环境变量已设置。
[hadoop@bigdata-senior01 module]$ echo ${JAVA_HOME}/opt/modules/jdk1.7.0_6712 12. 运行并验证MapReduce程序。
这里我们将使用hadoop提供的wordcount示例来测试在本地模式下运行mapreduce。
1. 准备MapReduce输入文件wc.input。
[hadoop@bigdata-senior01 module]$ cat /opt/data/wc.inputhadoop mapreduce hivehbase spakstormsqoop hadoop hivespark hadoop123452，运行hadoop自带的mapreduce demo
[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input Output21这里，作业ID 中包含单词local。表明。表明它正在本地模式下运行。
3.查看输出文件
在本地模式下，mapreduce 的输出在本地打印。
[hadoop@bigdata-senior01 hadoopstandalone]$ ll Output2total 4-rw-r--r-- 1 hadoop hadoop 60 Jul 7 12:50 部分-r-00000-rw-r--r-- 1 hadoop hadoop 0 Jul 7 12:50 _SUCCESS1234如果输出目录中有_SUCCESS文件，则表示JOB执行成功，part-r-00000将是输出结果文件。
第三部分：安装Hadoop伪分布式模式
步骤6.伪分布式Hadoop部署流程
13. Hadoop中使用的用户设置
1.创建一个名为hadoop的普通用户
[root@bigdata-senior01 ~]# useradd hadoop[root@bigdata-senior01 ~]# passwd hadoop122. 为Hadoop用户授予sudo权限。
[root@bigdata-senior01 ~]# vim /etc/sudoers1 设置权限。在学**环境中，您可以为Hadoop用户配置更多的权限，但在生产环境中，您必须了解Hadoop用户的权限限制。一般用户。
root ALL=(ALL) ALLhadoop ALL=(root) NOPASSWD:ALL12 注意：如果root用户没有修改sudoers文件的权限，请先手动为root用户添加写权限。
[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers13.切换到Hadoop用户
[root@bigdata-senior01 ~]# su - hadoop[hadoop@bigdata-senior01 ~]$124.创建保存Hadoop文件的目录
[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules15.指定Hadoop文件夹的所有者为Hadoop用户
将所有者更改为hadoop，因为如果存储hadoop的目录不属于hadoop，则运行hadoop时可能会遇到权限问题。
[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules1 14. 解压Hadoop 目录文件。
1、将hadoop-2.5.0.tar.gz复制到/opt/modules目录下。
2.解压hadoop-2.5.0.tar.gz。
[hadoop@bigdata-senior01 ~]# cd /opt/modules[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz12 15. 配置Hadoop
1.配置Hadoop环境变量
[hadoop@bigdata-senior01 hadoop]# vim /etc/profile1 附加配置：
运行import HADOOP_HOME=\'/opt/modules/hadoop-2.5.0\'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH12 启用配置。
检查HADOOP_HOME参数。
在[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME/opt/modules/hadoop-2.5.0122、hadoop-env.sh、mapred-env.sh、yarn-env.sh 文件中配置JAVA_HOME 参数
[hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh1 修改JAVA_HOME参数如下：导出JAVA_HOME=\'/opt/modules/jdk1.7.0_67\'123，配置core-site.xml
[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml
（1）fs.defaultFS参数配置HDFS地址。
fs.defaultFShdfs://bigdata-senior01.chybinmy.com:80201234 (2) hadoop.tmp.dir 设置Hadoop临时目录。例如，HDFS NameNode数据默认存储在该目录中。请检查默认配置文件，例如*. -default.xml：您将看到许多依赖于${hadoop.tmp.dir}的配置。
默认的hadoop.tmp.dir是/tmp/hadoop-${user.name}。目前的问题是NameNode将HDFS元数据存储在这个/tmp目录中。当操作系统重新启动时，/tmp目录中的内容将导致系统丢失NameNode元数据，这是一个非常严重的问题，必须更改此路径。
创建临时目录： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp1 设置临时目录的所有者为hadoop[hadoop@bigdata-senior01 hadoop-2.5.0]$改成。 sudo chown R hadoop:hadoop /opt/data/tmp1修改hadoop.tmp.dir hadoop.tmp.dir /opt/data/tmp 123416.配置、格式化和启动HDFS
1.配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml1 dfs.replication 1 1234dfs.replication 配置HDFS保存时的备份数量，马苏。这是因为它是伪的。这里distribution设置为1是因为环境中只有一个节点。
2.格式化HDFS
[hadoop@bigdata-senior01 ~]$ hdfs namenode format1 该格式在分布式文件系统HDFS中分割一个DataNode，并将分割后所有初始元数据的统计信息存储在NameNode中。
格式化完成后，检查core-site.xml中hadoop.tmp.dir指定的目录（本例为/opt/data目录）中是否存在dfs目录，如果存在则格式化成功。
消息：
格式化时要注意hadoop.tmp.dir目录的权限。 Hadoop普通用户必须具有读写权限。您可以将/opt/data 的所有者更改为hadoop。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data 显示NameNode 的格式化目录。 [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current1fsimage 是内存满后NameNode元数据持久化的文件。
fsimage*.md5是一个验证文件，用于验证fsimage的完整性。
saw_txid 是Hadoop 版本
会话文件。
namespaceID：NameNode的唯一ID。 clusterID: 集群ID、NameNode 和DataNode 集群ID 必须匹配才能表明它们是集群。 #Mon Jul 04 17:25336050 CST 2016namespaceid=2101579007ClusterID=CID-205277E6-493B-4601-8E33-C09D1D23CTIME=0StorageType=NStorageP Ame_nodeblockpoolid=BP-1641019026-127.0 。 0.1-1467624350057layoutVersion=-5712345673，起始namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenodestarting namenode, 日志/opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode- bigdata -senior01.chybinmy.com.out124，启动DataNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode启动datanode，/opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-logging to datanode - bigdata-senior01.chybinmy.com.out125，启动SecondaryNameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenodestarting secondarynamenode，日志/opt/modules/hadoop-2.5.0/logs/hadoop-hadoop- secondarynamenode-bigdata -senior01.chybinmy.com.out126，JPS命令检查启动是否成功如果找到结果，则启动成功。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps3034 NameNode3233 Jps3193 secondaryNameNode3110 DataNode123457，在HDFS中创建目录，测试文件上传和下载
在HDFS上创建目录
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo11 上传本地文件到HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo112 读取HDFS上的文件内容
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml1 从HDFS下载文件到本地
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml1 17. 配置和启动YARN
1.配置mapred-site.xml
宁静
认没有mapred-site.xml文件，但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。 [hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1添加配置如下： mapreduce.framework.nameyarn1234指定mapreduce运行在yarn框架上。 2、 配置yarn-site.xml 添加配置如下： yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname bigdata-senior01.chybinmy.com 12345678yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法。yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。3、 启动Resourcemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager14、 启动nodemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager15、 查看是否启动成功 [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps3034 NameNode4439 NodeManager4197 ResourceManager4543 Jps3193 SecondaryNameNode3110 DataNode1234567可以看到ResourceManager、NodeManager已经启动成功了。 6、 YARN的Web页面 YARN的Web客户端端口号是8088，通过http://192.168.100.10:8088/可以查看。 十八、运行MapReduce Job 在Hadoop的share目录里，自带了一些jar包，里面带有一些mapreduce实例小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以运行这些例子体验刚搭建好的Hadoop平台，我们这里来运行最经典的WordCount实例。 1、 创建测试用的Input文件 创建输入目录: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input1创建原始文件: 在本地/opt/data目录创建一个文件wc.input,内容如下。 将wc.input文件上传到HDFS的/wordcountdemo/input目录中: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input12、 运行WordCount MapReduce Job [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output123、 查看输出结果目录 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output-rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS-rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000123output目录中有两个文件，_SUCCESS文件是空文件，有这个文件说明Job执行成功。part-r-00000文件是结果文件，其中-r-说明这个文件是Reduce阶段产生的结果，mapreduce程序执行时，可以没有reduce阶段，但是肯定会有map阶段，如果没有reduce阶段这个地方有是-m-。一个reduce会产生一个part-r-开头的文件。查看输出文件内容。[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000hadoop 3hbase 1hive 2mapreduce 1spark 2sqoop 1storm 112345678结果是按照键值排好序的。 十九、停止Hadoop [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenodestopping namenode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanodestopping datanode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanagerstopping resourcemanager[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanagerstopping nodemanager12345678二十、 Hadoop各个功能模块的理解 1、 HDFS模块 HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。 2、 YARN模块 YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。 YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。 3、 MapReduce模块 MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。 第七步、开启历史服务 二十一、历史服务介绍 Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。 二十二、开启历史服务 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、1开启后，可以通过Web页面查看历史服务器： http://bigdata-senior01.chybinmy.com:19888/ 二十三、Web查看job执行历史 1、 运行一个mapreduce任务 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1122、 job执行中 3、 查看job历史 历史服务器的Web端口默认是19888，可以查看Web界面。 但是在上面所显示的某一个Job任务页面的最下面，Map和Reduce个数的链接上，点击进入Map的详细信息页面，再查看某一个Map或者Reduce的详细日志是看不到的，是因为没有开启日志聚集服务。 二十四、开启日志聚集 4、 日志聚集介绍 MapReduce是在各个机器上运行的，在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在HDFS上，这个过程就是日志聚集。 5、 开启日志聚集 配置日志聚集功能： Hadoop默认是不启用日志聚集的。在yarn-site.xml文件里配置启用日志聚集。 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 106800 12345678yarn.log-aggregation-enable:是否启用日志聚集功能。 yarn.log-aggregation.retain-seconds：设置日志保留时间，单位是秒。 将配置文件分发到其他节点： [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/12重启Yarn进程： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh12重启HistoryServer进程： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver126、 测试日志聚集 运行一个demo MapReduce，使之产生日志： bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output11查看日志： 运行Job后，就可以在历史服务器Web页面查看各个Map和Reduce的日志了。 第四部分：完全分布式安装 第八步、完全布式环境部署Hadoop 完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上。 二十五、环境准备 1、 克隆虚拟机 Vmware左侧选中要克隆的机器，这里对原有的BigData01机器进行克隆，虚拟机菜单中，选中管理菜单下的克隆命令。选择“创建完整克隆”，虚拟机名称为BigData02，选择虚拟机文件保存路径，进行克隆。再次克隆一个名为BigData03的虚拟机。2、 配置网络 修改网卡名称： 在BigData02和BigData03机器上编辑网卡信息。执行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因为是从BigData01机器克隆来的，所以会保留BigData01的网卡eth0，并且再添加一个网卡eth1。并且eth0的Mac地址和BigData01的地址是一样的，Mac地址不允许相同，所以要删除eth0，只保留eth1网卡，并且要将eth1改名为eth0。将修改后的eth0的mac地址复制下来，修改network-scripts文件中的HWADDR属性。 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth01修改网络参数： BigData02机器IP改为192.168.100.12 BigData03机器IP改为192.168.100.13 3、 配置Hostname BigData02配置hostname为 bigdata-senior02.chybinmy.com BigData03配置hostname为 bigdata-senior03.chybinmy.com 4、 配置hosts BigData01、BigData02、BigData03三台机器hosts都配置为： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts192.168.100.10 bigdata-senior01.chybinmy.com192.168.100.12 bigdata-senior02.chybinmy.com192.168.100.13 bigdata-senior03.chybinmy.com12345、 配置Windows上的SSH客户端 在本地Windows中的SSH客户端上添加对BigData02、BigData03机器的SSH链接。 二十六、服务器功能规划 bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.comNameNodeResourceManage DataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManagerHistoryServer SecondaryNameNode 二十七、在第一台机器�**沧靶碌腍adoop 为了和之前BigData01机器�**沧拔狈植际紿adoop区分开来，我们将BigData01上的Hadoop服务都停止掉，然后在一个新的目录/opt/modules/app下安装另外一个Hadoop。 我们采用先在第一台机器上解压、配置Hadoop，然后再分发到其他两台机器上的方式来安装集群。 6、 解压Hadoop目录： [hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/17、 配置Hadoop JDK路径修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径： export JAVA_HOME=\"/opt/modules/jdk1.7.0_67\"18、 配置core-site.xml [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml1 fs.defaultFS hdfs://bigdata-senior01.chybinmy.com:8020 hadoop.tmp.dir /opt/modules/app/hadoop-2.5.0/data/tmp 12345678910fs.defaultFS为NameNode的地址。 hadoop.tmp.dir为hadoop临时目录的地址，默认情况下，NameNode和DataNode的数据文件都会存在这个目录下的对应子目录下。应该保证此目录是存在的，如果不存在，先创建。 9、 配置hdfs-site.xml [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml1 dfs.namenode.secondary.http-address bigdata-senior03.chybinmy.com:50090 123456dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号，因为在规划中，我们将BigData03规划为SecondaryNameNode服务器。 所以这里设置为：bigdata-senior03.chybinmy.com:50090 10、 配置slaves [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slavesbigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com1234slaves文件是指定HDFS上有哪些DataNode节点。 11、 配置yarn-site.xml [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname bigdata-senior02.chybinmy.com yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 106800 12345678910111213141516根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向bigdata-senior02.chybinmy.com。 yarn.log-aggregation-enable是配置是否启用日志聚集功能。 yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。 12、 配置mapred-site.xml 从mapred-site.xml.template复制一个mapred-site.xml文件。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1 mapreduce.framework.name yarn mapreduce.jobhistory.address bigdata-senior01.chybinmy.com:10020 mapreduce.jobhistory.webapp.address bigdata-senior01.chybinmy.com:19888 1234567891011121314mapreduce.framework.name设置mapreduce任务运行在yarn上。 mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在BigData01机器上。 mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。 二十八、设置SSH无密码登录 Hadoop集群中的各个机器间会相互地通过SSH访问，每次访问都输入密码是不现实的，所以要配置各个机器间的 SSH是无密码登录的。 1、 在BigData01上生成公钥 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa1一路回车，都设置为默认值，然后再当前用户的Home目录下的.ssh目录中会生成公钥文件（id_rsa.pub）和私钥文件（id_rsa）。 2、 分发公钥 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com1233、 设置BigData02、BigData03到其他机器的无密钥登录 同样的在BigData02、BigData03上生成公钥和私钥后，将公钥分发到三台机器上。 二十九、分发Hadoop文件 1、 首先在其他两台机器上创建存放Hadoop的目录 [hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app122、 通过Scp分发 Hadoop根目录下的share/doc目录是存放的hadoop的文档，文件相当大，建议在分发之前将这个目录删除掉，可以节省硬盘空间并能提高分发的速度。 doc目录大小有1.6G。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc1.6G /opt/modules/app/hadoop-2.5.0/share/doc[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app1234三十、格式NameNode 在NameNode机器上执行格式化： [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format1注意： 如果需要重新格式化NameNode,需要先将原来NameNode和DataNode下的文件全部删除，不然会报错，NameNode和DataNode所在目录是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir属性配置的。 hadoop.tmp.dir /opt/data/tmp dfs.namenode.name.dir file://${hadoop.tmp.dir}/dfs/name dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data 123456789101112因为每次格式化，默认是创建一个集群ID，并写入NameNode和DataNode的VERSION文件中（VERSION文件所在目录为dfs/name/current 和 dfs/data/current），重新格式化时，默认会生成一个新的集群ID,如果不删除原来的目录，会导致namenode中的VERSION文件中是新的集群ID,而DataNode中是旧的集群ID，不一致时会报错。 另一种方法是格式化时指定集群ID参数，指定为旧的集群ID。 三十一、启动集群 1、 启动HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh12、 启动YARN [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh1在BigData02上启动ResourceManager: [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager13、 启动日志服务器 因为我们规划的是在BigData03服务器上运行MapReduce日志服务，所以要在BigData03上启动。 [hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserverstarting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda ta-senior03.chybinmy.com.out12[hadoop@bigdata-senior03 ~]$ jps3570 Jps3537 JobHistoryServer3310 SecondaryNameNode3213 DataNode3392 NodeManager1234564、 查看HDFS Web页面 http://bigdata-senior01.chybinmy.com:50070/ 5、 查看YARN Web 页面 http://bigdata-senior02.chybinmy.com:8088/cluster 三十二、测试Job 我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。 1、 准备mapreduce输入文件wc.input [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.inputhadoop mapreduce hivehbase spark stormsqoop hadoop hivespark hadoop123452、 在HDFS创建输入目录input [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input13、 将wc.input上传到HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input14、 运行hadoop自带的mapreduce Demo [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output15、 查看输出文件 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /outputFound 2 items-rw-r--r-- 3 hadoop supergroup 0 2016-07-14 16:36 /output/_SUCCESS-rw-r--r-- 3 hadoop supergroup 60 2016-07-14 16:36 /output/part-r-000001234第五部分：Hadoop HA安装 HA的意思是High Availability高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。 HA方式安装部署才是最常见的生产环境上的安装部署方式。Hadoop HA是Hadoop 2.x中新添加的特性，包括NameNode HA 和 ResourceManager HA。因为DataNode和NodeManager本身就是被设计为高可用的，所以不用对他们进行特殊的高可用处理。 第九步、时间服务器搭建 Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。可以配置集群中各个机器和互联网的时间服务器进行时间同步，但是在实际生产环境中，集群中大部分服务器是不能连接外网的，这时候可以在内网搭建一个自己的时间服务器（NTP服务器），集群的各个机器与这个时间服务器进行时间同步。 三十三、配置NTP服务器 我们选择第三台机器（bigdata-senior03.chybinmy.com）为NTF服务器，其他机器和这台机器进行同步。 1、 检查ntp服务是否已经安装 [hadoop@bigdata-senior03 data]$ sudo rpm -qa | grep ntpntpdate-4.2.6p5-1.el6.centos.x86_64ntp-4.2.6p5-1.el6.centos.x86_64123显示已经安装过了ntp程序，其中ntpdate-4.2.6p5-1.el6.centos.x86_64 是用来和某台服务器进行同步的，ntp-4.2.6p5-1.el6.centos.x86_64是用来提供时间同步服务的。 2、 修改配置文件ntp.conf [hadoop@bigdata-senior03 data]$ vim /etc/ntp.conf1启用restrice,修改网段 restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap 将这行的注释去掉，并且将网段改为集群的网段，我们这里是100网段。 注释掉server域名配置 #server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburst1234是时间服务器的域名，这里不需要连接互联网，所以将他们注释掉。 修改 server 127.127.1.0 fudge 127.127.1.0 stratum 10 3、 修改配置文件ntpd [hadoop@bigdata-senior03 ~]$ sudo vim /etc/sysconfig/ntpd1添加一行配置：SYNC_CLOCK=yes 4、 启动ntp服务 [hadoop@bigdata-senior03 ~]$ sudo chkconfig ntpd on1这样每次机器启动时，ntp服务都会自动启动。 三十四、配置其他机器的同步 切换到root用户进行配置通过contab进行定时同步： [root@bigdata-senior02 hadoop]# crontab -e */10 * * * * /usr/sbin/ntpdate bigdata-senior03.chybinmy.com[root@bigdata-senior02 hadoop]# crontab -e */10 * * * * /usr/sbin/ntpdate bigdata-senior03.chybinmy.com1234三十五、 测试同步是否有效 1、 查看目前三台机器的时间 [hadoop@bigdata-senior03 ~]$ date \"+%Y-%m-%d %H:%M:%S\"2016-09-23 16:43:56[hadoop@bigdata-senior02 ~]$ date \"+%Y-%m-%d %H:%M:%S\"2016-09-23 16:44:08[hadoop@bigdata-senior01 data]$ date \"+%Y-%m-%d %H:%M:%S\"2016-09-23 16:44:181234562、 修改bigdata-senior01上的时间 将时间改为一个以前的时间： [hadoop@bigdata-senior01 data]$ sudo date -s '2016-01-01 00:00:00'Fri Jan 1 00:00:00 CST 2016[hadoop@bigdata-senior01 data]$ date \"+%Y-%m-%d %H:%M:%S\"2016-01-01 00:00:051234等10分钟，看是否可以实现自动同步，将bigdata-senior01上的时间修改为和bigdata-senior03上的一致。 3、 查看是否自动同步时间 [hadoop@bigdata-senior01 data]$ date \"+%Y-%m-%d %H:%M:%S\"2016-09-23 16:54:3612可以看到bigdata-senior01上的时间已经实现自动同步了。 第十步、Zookeeper分布式机器部署 三十六、zookeeper说明 Zookeeper在Hadoop集群中的作用。 Zookeeper是分布式管理协作框架，Zookeeper集群用来保证Hadoop集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机，也能保证正常地对外提供服务。） Zookeeper保证高可用的原理。 Zookeeper集群能够保证NamaNode服务高可用的原理是：Hadoop集群中有两个NameNode服务，两个NaameNode都定时地给Zookeeper发送心跳，告诉Zookeeper我还活着，可以提供服务，单某一个时间只有一个是Action状态，另外一个是Standby状态，一旦Zookeeper检测不到Action NameNode发送来的心跳后，就切换到Standby状态的NameNode上，将它设置为Action状态，所以集群中总有一个可用的NameNode，达到了NameNode的高可用目的。 Zookeeper的选举机制。 Zookeeper集群也能保证自身的高可用，保证自身高可用的原理是，Zookeeper集群中的各个机器分为Leader和Follower两个角色，写入数据时，要先写入Leader，Leader同意写入后，再通知Follower写入。客户端读取数时，因为数据都是一样的，可以从任意一台机器上读取数据。 这里Leader角色就存在单点故障的隐患，高可用就是解决单点故障隐患的。Zookeeper从机制上解决了Leader的单点故障问题，Leader是哪一台机器是不固定的，Leader是选举出来的。选举流程是，集群中任何一台机器发现集群中没有Leader时，就推荐自己为Leader，其他机器来同意，当超过一半数的机器同意它为Leader时，选举结束，所以Zookeeper集群中的机器数据必须是奇数。这样就算当Leader机器宕机后，会很快选举出新的Leader，保证了Zookeeper集群本身的高可用。 写入高可用。 集群中的写入操作都是先通知Leader，Leader再通知Follower写入，实际上当超过一半的机器写入成功后，就认为写入成功了，所以就算有些机器宕机，写入也是成功的。 读取高可用。 zookeeperk客户端读取数据时，可以读取集群中的任何一个机器。所以部分机器的宕机并不影响读取。 zookeeper服务器必须是奇数台，因为zookeeper有选举制度，角色有：领导者、跟随者、观察者，选举的目的是保证集群中数据的一致性。 三十七、安装zookeeper 我们这里在BigData01、BigData02、BigData03三台机器�**沧皕ookeeper集群。 1、 解压安装包 在BigData01�**沧敖庋箊ookeeper安装包。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/12、 修改配置 拷贝conf下的zoo_sample.cfg副本，改名为zoo.cfg。zoo.cfg是zookeeper的配置文件： [hadoop@bigdata-senior01 zookeeper-3.4.8]$ cp conf/zoo_sample.cfg conf/zoo.cfg1dataDir属性设置zookeeper的数据文件存放的目录： dataDir=/opt/modules/zookeeper-3.4.8/data/zData 指定zookeeper集群中各个机器的信息： server.1=bigdata-senior01.chybinmy.com:2888:3888server.2=bigdata-senior02.chybinmy.com:2888:3888server.3=bigdata-senior03.chybinmy.com:2888:3888123server后面的数字范围是1到255，所以一个zookeeper集群最多可以有255个机器。 3、 创建myid文件 在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。 4、 分发到其他机器 [hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.chybinmy.com:/opt/modules[hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.chybinmy.com:/opt/modules125、 修改其他机器上的myid文件 [hadoop@bigdata-senior02 zookeeper-3.4.8]$ echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid[hadoop@bigdata-senior02 zookeeper-3.4.8]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid 2123[hadoop@bigdata-senior03 ~]$ echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid[hadoop@bigdata-senior03 ~]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid31236、 启动zookeeper 需要在各个机器上分别启动zookeeper。 [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start123三十八、zookeeper命令 进入zookeeper Shell 在zookeeper根目录下执行 bin/zkCli.sh进入zk shell模式。 zookeeper很像一个小型的文件系统，/是根目录，下面的所有节点都叫zNode。 进入zk shell 后输入任意字符，可以列出所有的zookeeper命令 查询zNode上的数据：get /zookeeper 创建一个zNode : create /znode1 “demodata “ 列出所有子zNode：ls / 删除znode : rmr /znode1 退出shell模式：quit 第十一步、Hadoop 2.x HDFS HA 部署 三十九、HDFS HA原理 单NameNode的缺陷存在单点故障的问题，如果NameNode不可用，则会导致整个HDFS文件系统不可用。所以需要设计高可用的HDFS（Hadoop HA）来解决NameNode单点故障的问题。解决的方法是在HDFS集群中设置多个NameNode节点。但是一旦引入多个NameNode，就有一些问题需要解决。 HDFS HA需要保证的四个问题：保证NameNode内存中元数据数据一致，并保证编辑日志文件的安全性。多个NameNode如何协作客户端如何能正确地访问到可用的那个NameNode。怎么保证任意时刻只能有一个NameNode处于对外服务状态。解决方法对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。两个NameNode一个是Active状态的，一个是Standby状态的，一个时间点只能有一个Active状态的 NameNode提供服务,两个NameNode上存储的元数据是实时同步的，当Active的NameNode出现问题时，通过Zookeeper实时切换到Standby的NameNode上，并将Standby改为Active状态。客户端通过连接一个Zookeeper的代理来确定当时哪个NameNode处于服务状态。四十、HDFS HA架构图 HDFS HA架构中有两台NameNode节点，一台是处于活动状态（Active）为客户端提供服务，另外一台处于热备份状态（Standby）。元数据文件有两个文件：fsimage和edits，备份元数据就是备份这两个文件。JournalNode用来实时从Active NameNode上拷贝edits文件，JournalNode有三台也是为了实现高可用。Standby NameNode不对外提供元数据的访问，它从Active NameNode上拷贝fsimage文件，从JournalNode上拷贝edits文件，然后负责合并fsimage和edits文件，相当于SecondaryNameNode的作用。最终目的是保证Standby NameNode上的元数据信息和Active NameNode上的元数据信息一致，以实现热备份。Zookeeper来保证在Active NameNode失效时及时将Standby NameNode修改为Active状态。ZKFC（失效检测控制）是Hadoop里的一个Zookeeper客户端，在每一个NameNode节点上都启动一个ZKFC进程，来监控NameNode的状态，并把NameNode的状态信息汇报给Zookeeper集群，其实就是在Zookeeper上创建了一个Znode节点，节点里保存了NameNode状态信息。当NameNode失效后，ZKFC检测到报告给Zookeeper，Zookeeper把对应的Znode删除掉，Standby ZKFC发现没有Active状态的NameNode时，就会用shell命令将自己监控的NameNode改为Active状态，并修改Znode上的数据。 Znode是个临时的节点，临时节点特征是客户端的连接断了后就会把znode删除，所以当ZKFC失效时，也会导致切换NameNode。DataNode会将心跳信息和Block汇报信息同时发给两台NameNode，DataNode只接受Active NameNode发来的文件读写操作指令。四十一、搭建HDFS HA 环境 1、 服务器角色规划 bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.comNameNodeNameNode ZookeeperZookeeperZookeeperDataNodeDataNodeDataNode ResourceManageResourceManageNodeManagerNodeManagerNodeManager 2、 创建HDFS HA 版本Hadoop程序目录 在bigdata01、bigdata02、bigdata03三台机器上分别创建目录/opt/modules/hadoopha/用来存放Hadoop HA环境。 [hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopha13、 新解压Hadoop 2.5.0 [hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/14、 配置Hadoop JDK路径 修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径export JAVA_HOME=\"/opt/modules/jdk1.7.0_67\"125、 配置hdfs-site.xml < xml version=\"1.0\" encoding=\"UTF-8\" > dfs.nameservices ns1 dfs.ha.namenodes.ns1 nn1,nn2 dfs.namenode.rpc-address.ns1.nn1 bigdata-senior01.chybinmy.com:8020 dfs.namenode.rpc-address.ns1.nn2 bigdata-senior02.chybinmy.com:8020 dfs.namenode.http-address.ns1.nn1 bigdata-senior01.chybinmy.com:50070 dfs.namenode.http-address.ns1.nn2 bigdata-senior02.chybinmy.com:50070 dfs.namenode.shared.edits.dir qjournal://bigdata-senior01.chybinmy.com:8485;bigdata-senior02.chybinmy.com:8485;bigdata-senior03.chybinmy.com:8485/ns1 dfs.journalnode.edits.dir /opt/modules/hadoopha/hadoop-2.5.0/tmp/data/dfs/jn dfs.client.failover.proxy.provider.ns1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /home/hadoop/.ssh/id_rsa 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657586、 配置core-site.xml < xml version=\"1.0\" encoding=\"UTF-8\" > fs.defaultFS hdfs://ns1 hadoop.tmp.dir /opt/modules/hadoopha/hadoop-2.5.0/data/tmp 1234567891011121314hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。 7、 配置slaves文件 bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com1238、 分发到其他节点 分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior02.chybinmy.com:/opt/modules[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior03.chybinmy.com:/opt/modules129、 启动HDFS HA集群 三台机器分别启动Journalnode。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode123jps命令查看是否启动。 10、 启动Zookeeper 在三台节点上启动Zookeeper： [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start[hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start[hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start12311、 格式化NameNode 在第一台上进行NameNode格式化： [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format1在第二台NameNode上： [hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby112、 启动NameNode 在第一台、第二台上启动NameNode： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode12查看HDFS Web页面，此时两个NameNode都是standby状态。 切换第一台为active状态： [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn11可以添加上forcemanual参数，强制将一个NameNode转换为Active状态。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin –transitionToActive -forcemanual nn11此时从web 页面就看到第一台已经是active状态了。 13、 配置故障自动转移 利用zookeeper集群实现故障自动转移，在配置故障自动转移之前，要先关闭集群，不能在HDFS运行期间进行配置。 关闭NameNode、DataNode、JournalNode、zookeeper [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode[hadoop@bigdata-senior01 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/[hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh stop[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode[hadoop@bigdata- senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode[hadoop@bigdata- senior02 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/[hadoop@bigdata- senior02 zookeeper-3.4.8]$ bin/zkServer.sh stop[hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode[hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode[hadoop@bigdata- senior03 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/[hadoop@bigdata- senior03 zookeeper-3.4.8]$ bin/zkServer.sh stop1234567891011121314修改hdfs-site.xml dfs.ha.automatic-failover.enabled true1234修改core-site.xml ha.zookeeper.quorum bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:21811234将hdfs-site.xml和core-site.xml分发到其他机器 [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/1234启动zookeeper 三台机器启动zookeeper [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/zookeeper-3.4.8/bin/zkServer.sh start1创建一个zNode [hadoop@bigdata-senior01 hadoop-2.5.0]$ cd /opt/modules/hadoopha/hadoop-2.5.0/[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK12在Zookeeper上创建一个存储namenode相关的节点。 14、 启动HDFS、JournalNode、zkfc 启动NameNode、DataNode、JournalNode、zkfc [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-dfs.sh1zkfc只针对NameNode监听。 四十二、测试HDFS HA 1、 测试故障自动转移和数据是否共享 在nn1上上传文件 目前bigdata-senior01节点上的NameNode是Active状态的。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /1将nn1上的NodeNode进程杀掉 [hadoop@bigdata-senior01 hadoop-2.5.0]$ kill -9 33641nn1上的namenode已经无法访问了。 查看nn2是否是Active状态 在nn2上查看是否看见文件 经以上验证，已经实现了nn1和nn2之间的文件同步和故障自动转移。 第十二步、Hadoop 2.x YARN HA 部署 四十三、YARN HA原理 Hadoop2.4版本之前，ResourceManager也存在单点故障的问题，也需要实现HA来保证ResourceManger的高可也用性。 ResouceManager从记录着当前集群的资源分配情况和JOB的运行状态，YRAN HA 利用Zookeeper等共享存储介质来存储这些信息来达到高可用。另外利用Zookeeper来实现ResourceManager自动故障转移。 MasterHADaemon：控制RM的 Master的启动和停止，和RM运行在一个进程中，可以接收外部RPC命令。共享存储：Active Master将信息写入共享存储，Standby Master读取共享存储信息以保持和Active Master同步。ZKFailoverController：基于Zookeeper实现的切换控制器，由ActiveStandbyElector和HealthMonitor组成，ActiveStandbyElector负责与Zookeeper交互，判断所管理的Master是进入Active还是Standby；HealthMonitor负责监控Master的活动健康情况，是个监视器。Zookeeper：核心功能是维护一把全局锁控制整个集群上只有一个Active的ResourceManager。四十四、搭建YARN HA环境 1、 服务器角色规划 bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.comNameNodeNameNode ZookeeperZookeeperZookeeperDataNodeDataNodeDataNode ResourceManageResourceManageNodeManagerNodeManagerNodeManager 2、 修改配置文件yarn-site.xml < xml version=\"1.0\" encoding=\"UTF-8\" > yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 106800 yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id yarn-cluster yarn.resourcemanager.ha.rm-ids rm12,rm13 yarn.resourcemanager.hostname.rm12 bigdata-senior02.chybinmy.com yarn.resourcemanager.hostname.rm13 bigdata-senior03.chybinmy.com yarn.resourcemanager.zk-address bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181 yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455563、 分发到其他机器 [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/\124、 启动 在bigdata-senior01上启动yarn： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh1在bigdata-senior02、bigdata-senior03上启动resourcemanager： [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager12启动后各个节点的进程。 Web客户端访问bigdata02机器上的resourcemanager正常，它是active状态的。 http://bigdata-senior02.chybinmy.com:8088/cluster 访问另外一个resourcemanager，因为他是standby,会自动跳转到active的resourcemanager。 http://bigdata-senior03.chybinmy.com:8088/cluster 四十五、测试YARN HA 5、 运行一个mapreduce job [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wc.input /input16、 在job运行过程中，将Active状态的resourcemanager进程杀掉。 [hadoop@bigdata-senior02 hadoop-2.5.0]$ kill -9 447517、 观察另外一个resourcemanager是否可以自动接替。 bigdata02的resourcemanage Web客户端已经不能访问，bigdata03的resourcemanage已经自动变为active状态。 8、 观察job是否可以顺利完成。 而mapreduce job 也能顺利完成，没有因为resourcemanager的意外故障而影响运行。 经过以上测试，已经验证YARN HA 已经搭建成功。 第十三步、HDFS Federation 架构部署 四十六、HDFS Federation 的使用原因 1、 单个NameNode节点的局限性 命名空间的限制。 NameNode上存储着整个HDFS上的文件的元数据，NameNode是部署在一台机器上的，因为单个机器硬件的限制，必然会限制NameNode所能管理的文件个数，制约了数据量的增长。 数据隔离问题。 整个HDFS上的文件都由一个NameNode管理，所以一个程序很有可能会影响到整个HDFS上的程序，并且权限控制比较复杂。 性能瓶颈。 单个NameNode时HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。因为NameNode是个JVM进程，JVM进程所占用的内存很大时，性能会下降很多。 2、 HDFS Federation介绍 HDFS Federation是可以在Hadoop集群中设置多个NameNode，不同于HA中多个NameNode是完全一样的，是多个备份，Federation中的多个NameNode是不同的，可以理解为将一个NameNode切分为了多个NameNode，每一个NameNode只负责管理一部分数据。 HDFS Federation中的多个NameNode共用DataNode。 四十七、HDFS Federation的架构图 四十八、HDFS Federation搭建 1、 服务器角色规划 bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.comNameNode1NameNode2NameNode3 ResourceManage DataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManager 2、 创建HDFS Federation 版本Hadoop程序目录 在bigdata01上创建目录/opt/modules/hadoopfederation /用来存放Hadoop Federation环境。 [hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopfederation13、 新解压Hadoop 2.5.0 [hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopfederation/14、 配置Hadoop JDK路径 修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径。 export JAVA_HOME=”/opt/modules/jdk1.7.0_67” 5、 配置hdfs-site.xml dfs.nameservices ns1,ns2,ns3 dfs.namenode.rpc-address.ns1 bigdata-senior01.chybinmy.com:8020 dfs.namenode.serviceerpc-address.ns1 bigdata-senior01.chybinmy.com:8022 dfs.namenode.http-address.ns1 bigdata-senior01.chybinmy.com:50070 dfs.namenode.https-address.ns1 bigdata-senior01.chybinmy.com:50470 dfs.namenode.rpc-address.ns2 bigdata-senior02.chybinmy.com:8020 dfs.namenode.serviceerpc-address.ns2 bigdata-senior02.chybinmy.com:8022 dfs.namenode.http-address.ns2 bigdata-senior02.chybinmy.com:50070 dfs.namenode.https-address.ns2 bigdata-senior02.chybinmy.com:50470 dfs.namenode.rpc-address.ns3 bigdata-senior03.chybinmy.com:8020 dfs.namenode.serviceerpc-address.ns3 bigdata-senior03.chybinmy.com:8022 dfs.namenode.http-address.ns3 bigdata-senior03.chybinmy.com:50070 dfs.namenode.https-address.ns3 bigdata-senior03.chybinmy.com:50470 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636、 配置core-site.xml hadoop.tmp.dir /opt/modules/hadoopha/hadoop-2.5.0/data/tmp123456hadoop.tmp.dir设置hadoop临时目录地址，默认时，NameNode和DataNode的数据存在这个路径下。 7、 配置slaves文件 bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com1238、 配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname bigdata-senior02.chybinmy.com yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 106800 1234567891011121314151617189、 分发到其他节点 分发之前先将share/doc目录删除，这个目录中是帮助文件，并且很大，可以删除。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/ /opt/modules/hadoopfederation bigdata-senior02.chybinmy.com:/opt/modules[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopfederation bigdata-senior03.chybinmy.com:/opt/modules1210、 格式化NameNode 在第一台上进行NameNode格式化。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId1这里一定要指定一个集群ID，使得多个NameNode的集群ID是一样的，因为这三个NameNode在同一个集群中，这里集群ID为hadoop-federation-clusterId。 在第二台NameNode上。 [hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId1在第二台NameNode上。 [hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId111、 启动NameNode 在第一台、第二台、第三台机器上启动NameNode： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode123启动后，用jps命令查看是否已经启动成功。 查看HDFS Web页面，此时三个NameNode都是standby状态。 12、 启动DataNode [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode123启动后，用jps命令确认DataNode进程已经启动成功。 四十九、测试HDFS Federation 1、 修改core-site.xml 在bigdata-senior01机器上,修改core-site.xml文件，指定连接的NameNode是第一台NameNode。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml fs.defaultFS hdfs://bigdata-senior01.chybinmy.com:8020 hadoop.tmp.dir /opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp123456789102、 在bigdate-senior01上传一个文件到HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh123、 查看HDFS文件 可以看到，刚才的文件只上传到了bigdate-senior01机器上的NameNode上了，并没有上传到其他的NameNode上去。 这样，在HDFS的客户端，可以指定要上传到哪个NameNode上，从而来达到了划分NameNode的目的。 后记 这篇文章的操作步骤并不是工作中标准的操作流程，如果在成百上千的机器全部这样安装会被累死，希望读者可以通过文章中一步步地安装，从而初步了解到Hadoop的组成部分，协助过程等，这对于Hadoop的深入使用有很大的帮助。