hadoop集群环境搭建，启动hadoop集群的命令
chanong
|作者| chen_01_c
编辑| 卡罗尔
来源| CSDN 博客
封面图| CSDN视觉中国付费下载
Hadoop 概述
Hadoop是Lucene创始人Doug Cutting根据Google相关内容复制的一个分布式文件系统，是分析和计算大量数据的基础框架，包括MapReduce程序、hdfs系统等。 [这受到Map/Reduce 和Google 文件系统(GFS) 的启发，最初由Google 实验室开发。 ]
Hadoop实现了一个称为HDFS（Hadoop分布式文件系统）的分布式文件系统。 HDFS 具有高弹性，旨在部署在低成本硬件上，并为访问应用程序数据提供高吞吐量，使其适合拥有大型数据集的用户。 HDFS 放宽了POSIX 要求并允许对文件系统内的数据进行流式访问。
Hadoop框架核心设计：HDFS和MapReduce
HDFS：为大量数据提供存储
MapReduce:提供计算来处理大量数据。集群：集群
LB：负载均衡
LVS SLB HAPROXY、nginx
高可用性：高可用性
MHA、保活、心跳
HPC、Hadoop：海量计算支持存储和运营
分布式是什么：去中心化
Hadoop集群的优势
Hadoop 是一个允许分布式处理大量数据的软件框架。 Hadoop 以可靠、高效且可扩展的方式执行数据处理。
Hadoop 依赖于计算元素和存储故障，并且通过维护工作数据的多个副本并允许将处理重新分配到故障节点来高度可靠。Masu。
Hadoop 之所以高效，是因为它并行运行，并行处理可以加快处理速度。
Hadoop 还具有可扩展性，可以处理PB 级的数据。
如何将PB 级数据转换为GB 级数据？
IPB=1024TB
1TB=1024G
Hadoop 依赖社区服务，使其成本低廉且可供所有人使用。
Hadoop是一个易于用户构建和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理大量数据的应用程序。主要优点是：
高可靠性：您可以信赖Hadoop 逐位存储和处理数据的能力。
高扩展性：大量的节点使得数据的计算和分发变得容易。
什么是节点？
节点是一个术语，用于描述一类设备，例如构成传输网络的主机（PC）、服务器或交换机、路由器或防火墙。
效率：Hadoop可以在节点之间动态移动数据并动态平衡每个节点，从而产生非常快的处理速度。
容错性：Hadoop可以自动存储数据的多个副本，并自动重新分配失败的任务。
什么是RAID容错？RAID的容错程度有多少？RAID几乎是容错的。
成本低：与QlikView、永宏Z-Suite等一体机、商业数据仓库和数据集市相比，Hadoop是开源的，这可以显着降低您项目的软件成本。
注：Hadoop框架开发语言：Java，在Linux上执行效果比较理想。
官网：http://hadoop.apache.org/
相关Hadoop 概念
1、分布式存储：
什么是Linux存储？
答案：NFS、NAS、HDFS、MFS
名称空间
namespace:在分布式存储系统中，分布在不同节点的数据可能属于同一个文件。要组织大量文件，您可以将它们放在不同的文件夹中或按级别包含文件夹。这种组织形式称为名称空间。命名空间管理服务器集群中的所有文件。命名空间的职责与存储实际数据的职责不同。负责命名空间的节点称为主节点，负责存储实际数据的节点称为从节点。
主/从节点：
主节点负责管理文件系统的文件结构，从节点负责存储实际数据，这些统称为主/从。
用户交互时，首先要处理主节点，查询从节点上的数据，然后从从节点读取数据。整个命名空间信息可能会存储在内存中以加速用户访问，但是存储的文件越多，主节点需要的内存空间就越大。
打开文件时，首先加载到哪里？
答案：记忆
为什么我的笔记本电脑打不开2T文件？
答：内存太小了
2. 块
从从节点保存数据时，原始数据文件可能很大，也可能很小。由于不同大小的文件难以管理，我们可以抽象出独立的存储文件单元，称为块。
问：如果我的硬盘有500G 空间，剩余200G，但在创建文件时收到硬盘可用空间不足的消息，我该怎么办？
答：这一般是inode数量不足造成的。
3、灾难恢复
数据存储在集群中。由于网络原因或服务器硬件原因，可能会出现访问失败的情况。我们建议使用复制机制将数据同时备份到多个服务器。这样，您的数据是安全的，并且数据丢失或访问失败的可能性会减少。
4. 异地灾难恢复？
答：在不同地区构建一个或多个相同的应用程序或数据库，以便在灾难发生后立即接管。
在Hadoop中，分布式存储系统称为HDFS（Hadoop分布式文件系统）。其中，主节点称为名称节点，从节点称为数据节点。
过程：
1：首先客户端请求显示数据，首先请求访问Namenode。
2：Nomenode根据您的需要指示数据存储在哪个数据节点中。
3：客户端直接连接从节点获取数据
分布式计算
当您处理数据时，您将其读入内存并进行处理。当处理大量数据时，例如100 GB 的数据大小，您需要计算文件中有多少个单词。将所有数据加载到内存中几乎是不可能的，这称为数据移动。
那么，程序代码是否可以位于存储数据的服务器上呢？程序代码通常非常小，与原始数据相比几乎可以忽略不计，从而节省了传输原始数据的时间。目前，数据存储在分布式文件系统中。您可能在许多服务器上存储了100GB 的数据。然后，您可以将程序代码分发到这些服务器并同时运行它们。这也是分布式计算。 计算。这显着减少了程序的执行时间。在移动数据节点的机器上执行程序代码的计算方法称为移动计算。
分布式计算需要最终结果。当程序代码在许多机器上并行执行时，它会产生许多结果，并且需要代码来汇总这些中间结果。 Hadoop 中的分布式计算通常分两个阶段完成。
第一阶段读取每个数据节点的原始数据，进行预处理，并计算每个节点的数据中的字数。然后处理结果被传送到第二阶段，在第二阶段汇总节点结果以产生最终结果。
在Hadoop中，分布式计算部分称为MapReduce。
MapReduce 是一种用于大型数据集（大于1 TB）并行操作的编程模型。 “map”和“reduce”的概念和主要思想借鉴了函数式编程语言，也借鉴了向量编程语言的特性。这使得程序员可以更轻松地在分布式系统上运行自己的程序，而无需了解任何分布式并行编程知识。
分布式计算的作用
主节点：作业节点（作业跟踪器）
Slave节点：任务节点（任务跟踪器）
在任务节点中，执行第一步的代码称为map任务，执行第二步的代码称为reduce任务。
词汇表：
1）hadoop: apache开源分布式框架
2）HDFS：Hadoop的分布式文件系统
3）NameNode: Hadoop HDFS元数据主节点服务器，负责存储datenode文件存储元数据信息。该服务器是一个单点。
4）obtracker: Hadoop的map/reduce调度程序负责与任务节点通信以分配计算并跟踪任务的进度。该服务器也是单点。
5）DataNode: Hadoop数据节点，负责存储数据。
6）tasktracker: hadoop调度度。负责启动和运行map和reduce任务。
设置Hadoop 集群
1）配置你的IP环境，关闭iptables，关闭selinux，并配置你的主机。
[root@ chenc01 ~]# service iptables stop[root@ chenc01 ~]# setenforce 0[root@ chenc01 ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6。 localdomain610.0.0.61 chenc0110.0.0.62 chenc0210.0.0.63 chenc03
2）创建普通用户在所有三台服务器（hadoop）上创建普通用户并设置密码：123456
[root@ chenc01 ~]# useradd -u 8000 hadoop; echo 123456 | passwd --stdin hadoop 更改用户hadoop 的密码。 passwd：所有身份验证令牌均已成功更新。
3）设置一个namenode，并将namenode设置为无需密钥即可登录其他两台服务器。
[root@ chenc01 ~]# ssh-keygen 生成公钥/私钥RSA 密钥对。请输入保存密钥的文件(/root/.ssh/id_rsa): 目录“/root/.ssh”已创建。请输入您的密码（无密码）: 请再次输入相同的密码： 您的ID 已保存在/root/.ssh/id_rsa 中。公钥保存在/root/.ssh/id_rsa.pub中。密钥指纹为：f1:7c:f6:6c:81:f5:a6:2a 3 336074:d1:f2:95:50:38:ad:6f root@chenc0 1.本地密钥的随机艺术图像是：+--[RSA 2048]----+| +. || + . || .=.|| + o+.o。 || S o ++o.o|| .o.o.E || . * | | . o || . |+-----------------+[root@ chenc01 ~] # 无法确定ssh-copy-id root@10.0.0.62 主机'10.0 .0.62 (10.0.0.62)' 的真实性。 RSA 密钥指纹为9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:2933 3606f:e5。您确定要继续吗连接？是/否yesWarning: 已将“10.0.0.62”(RSA) 永久添加到已知主机列表中.root@10.0 .0.62 的密码： 然后登录使用“ssh 'root@10.0.0.62'”的计算机并检查：ssh/authorized_keys 以确保没有添加其他密钥。要做的。 [root@ chenc01 ~]# ssh-copy-id root@10.0.0.63无法确定主机“10.0.0.63 (10.0.0.63)”的真实性。 RSA 密钥指纹为9b:57:b9:86:84:90:a4333。 604b33 36044:3e:18:9f:8a:29:6f:e5.您确定要继续连接吗？（是/否） YesWarning: 已将“10.0.0.63”(RSA) 永久添加到已知主机列表中。 root@10.0.0.63: 的密码接下来，尝试使用“ssh”登录计算机。运行root@10.0 .0.63'\' 并检查：ssh/authorized_keys 以确保没有添加意外的额外密钥。 # 测试(能登录成功吗？ [root@chenc01 ~]# ssh 10.0 .0.62 最后登录： 从11 月29 日星期五开始17:15:15 2019 10.0.0.1
4) jdk[root@chenc01 ~]# install rpm -ivh jdk-8u131-linux-x64_.rpm. ##################### # ## ################## [100%] 1:jdk1.8.0_131 ##################### # ## ################## [100%] 正在解压JAR 文件.tools.jar.plugin.jar.javaws.jar.deploy.jar . rt.jar. jsse.jar. charsets.jar. localedata.jar.# /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_131/export 更改JAVA_BIN=/usr /java/jdk1.8.0_131/bin/export PATH=${JAVA_HOME}/bin:$PATHexport CLASSPATH=.${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar# 加载[ root@ chenc01 ~]# source /etc/profile# 显示Java 版本[root@ chenc01 ~]# java -versionjava version \'1.8.0_131\'Java(TM) SE 运行环境(build 1.8.0_131-b11)Java HotSpot (TM ) 64 位服务器VM（内部版本25.131-b11，混合模式） 问题：数据库中的源还可以用于什么用途？
答：进口
5）在另外两个节点�**沧癹ava/jdk [root@chenc02 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm 准备. ########### ##### # ######################## [100%] 1:jdk1.8.0_131 ########### #### # ## ######################## [100%] 正在提取JAR 文件.tools.jar.plugin.jar.javaws .jar。deploy.jar.rt.jar.jsse.jar.charsets.jar.localedata.jar.# /etc/profileexport JAVA_HOME=/更改usr/java/jdk1.jar 8.0_131/export JAVA_BIN=/usr/java/jdk1.8.0_131/bin/export PATH=${JAVA_HOME}/bin:$PATHexport CLASSPATH=.${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar# 加载[root@ chenc02 ~]# source /etc/profile# 显示Java 版本[root@ chenc02 ~]# java -versionjava version \'1.8.0_131\'Java(TM) SE 运行时环境(build 1.8 . 0_131-b11)Java HotSpot(TM) 64 位服务器VM（内部版本25.131-b11，混合模式）
6）安装namenodeHadoop安装目录：/home/hadoop/hadoop-3.13 使用root账号上传hadoop-3.1.3.tar.gz到服务器，放置在/home/hadoop下。
创建dfs 和tmp[root@ chenc01 ~]# su - hadoop[hadoop@ chenc01 ~]$ mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp[ hadoop@ chenc01 ~]$ rz[hadoop@ chenc01 ~]$ whoami hadoop[hadoop@ chenc01 ~]$ lsdfs hadoop-3.1.3.tar.gz tmp 解压[hadoop@ chenc01 ~]$ tar xvf hadoop-3.1.3.tar.gz [hadoop@ chenc01 ~]$ cd hadoop-3.1.3[hadoop@ chenc01 hadoop-3.1.3]$ lltotal 200drwxr-xr-x 2 hadoop hadoop 4096 2019-09-12 12:46 绑定rwxr-xr-x 3 hadoop hadoop 4096 2019 -09-12 10:51 etcdrwxr-xr-x 2 hadoop hadoop 4096 2019-09-12 12:46 包括rwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 12:46 libdrwxr-xr-x 4 hadoop hadoop 4096 2 019 -09- 12 12:46 libexec-rw-rw-r-- 1 hadoop hadoop 147145 2019-09-04 17:31 LICENSE.txt-rw-rw-r-- 1 hadoop hadoop 21867 2019-09-04 17:31 NOTICE.txt-rw -rw- r - - 1 hadoop hadoop 1366 2019-09-04 17:31 README.txtdrwxr-xr-x 3 hadoop hadoop 4096 2019-09-12 10:51 sbindrwxr-xr-x 4 hadoop hadoop 4096 2019-09-12 1 3333 60 08 分享【hadoop @chenc01 hadoop] - 3.1.3]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/[hadoop@ chenc01 hadoop]$ pwd /home/hadoop/hadoop-3.1.3/etc/hadoop [hadoop @chenc01 hadoop] $ lshadoop-env.sh # Java环境变量yarn-env.sh #制定yarn框架的Java执行环境slave #指定数据节点数据存储服务器core-site.xml #hadoop-web接口路径hdfs-site. xml #文件系统配置文件mapred-site.xml #mapreducer任务配置文件yarn-site.xml #yarn框架配置，主要是改变一些任务启动位置的文件[hadoop@chenc01 hadoop] $ vim hadoop-env.shexprot JAVA_HOME=/usr /java/jdk1.8.0_13[hadoop@ chenc01 hadoop]$ vim Tongue-env.shJAVA_HOME=/usr/java/jdk1.8.0_131[hadoop@ chenc01 hadoop]$ vimla veschenc02chenc03 注意：这是核心Hadoop 配置。现在您需要设置属性。 fs.default.name为hadoop设置HDFS系统命令，位于主机的9000端口上。 hadoop.tmp.dir 设置haddop 的tmp 目录的根位置。
[hadoop@chenc01 hadoop]$ vim core-site.xml fs.defaultFS hdfs://chenc01:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/hadoop/tmp 其他临时目录的基础注：HDFS的main配置文件dfs.http.address配置hdfs的http访问位置。
dfs.replication 配置文件的副本通常不会比从机的数量多。
[hadoop@ chenc01 hadoop]$ vim hdfs-site.xml dfs.namenode.secondary.http-address chenc01:9000 dfs.namenode.name.dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.replication 2 dfs.webhdfs.enabled true 注意：这是mapreduce任务配置文件，在mapreduce.framework.name属性下配置线程。
mapred.map.tasks和mapred.reduce.tasks分别是map和reduce任务的数量。还指定Hadoop 历史服务器hhistoryserver
通过historyserver可以查看MapReduce作业的记录，例如使用的map数量、使用的reducer数量、作业开始时间、作业完成时间等。默认情况下，Hadoop历史服务器没有启动，因此必须使用命令启动它。
[hadoop@ chenc01 ~]$ /home/hadoop/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh 启动Historyserver/home/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh: 行39: exprot: 未找到命令警告： 不推荐使用此脚本启动MR JobHistory 守护程序。警告： 尝试运行替换“mapred --daemon start”。警告： /home
/hadoop/hadoop-3.1.3/logs does not exist. Creating.[hadoop@ chenc01 hadoop]$ vim mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address chenc01:10020 mapreduce.jobhistory.webapp.address chenc01:19888备注：yarn框架的配置，主要是一些任务的启动位置 [hadoop@ chenc01 hadoop]$ vim yarn-site.xml yarn.nodemanager.aux-service mapreduce_shuffle yarn.nodemanager.uax-service.mapreduce.shuffle.class org.apache.hadoop.mapreduced.ShuffleHandle yarn.resoucemanager.address chenc01:8032 yarn.resourcemanager.shceduler.address chenc01:8030 yarn.resourcemanager.resource-tracker.address chenc01:8031 yarn.resourcemanager.admin.address chenc01:8033 yarn.resourcemanager.webapp.address chenc01:8088datanode配置文件生成[hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc02:~/The authenticity of host 'chenc02 (10.0.0.62)' can't be established.RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.Are you sure you want to continue connecting (yes/no) yesWarning: Permanently added 'chenc02,10.0.0.62' (RSA) to the list of known hosts.hadoop@chenc02's password: /home/hadoop/hadoop-3.13: No such file or directory[hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc03:~/The authenticity of host 'chenc03 (10.0.0.63)' can't be established.RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.Are you sure you want to continue connecting (yes/no) yesWarning: Permanently added 'chenc03,10.0.0.63' (RSA) to the list of known hosts.hadoop@chenc03's password: /home/hadoop/hadoop-3.13: No such file or directorynamenode格式化数据：一般第一次的时候需要初始化，之后就不需要了 [hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/bin/[hadoop@ chenc01 bin]$ ./hdfs namenode -format2020-03-04 16:05:17,247 INFO namenode.FSImageFormatProtobuf: Image file /home/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 393 bytes saved in 0 seconds .2020-03-04 16:05:17,268 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 02020-03-04 16:05:17,277 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.2020-03-04 16:05:17,278 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************SHUTDOWN_MSG: Shutting down NameNode at xinsz08-1/192.168.1.18************************************************************/查看是否生成相应的内容[hadoop@ chenc01 ~]$ cd /home/hadoop/dfs/[hadoop@ chenc01 dfs]$ lsdata name[hadoop@ chenc01 dfs]$ tree.├── data└── name └── current ├── fsimage_0000000000000000000 ├── fsimage_0000000000000000000.md5 ├── seen_txid └── VERSION3 directories, 4 files配置免密要登录[hadoop@ chenc01 dfs]$ ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa.Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.The key fingerprint is:cf:4f:4e:5e:8a:4f:7e:86:e9:f6:8c:8f:77:b9:69:50 hadoop@chenc01.localdomainThe key's randomart image is:+--[ RSA 2048]----+| || || || E || S . || o . || o +oo .|| X+*+oo|| .+@*=+.|+-----------------+[hadoop@ chenc01 dfs]$ ssh-copy-id chenc02[hadoop@ chenc01 dfs]$ ssh-copy-id chenc01 # 对自己也做一次[hadoop@ chenc01 dfs]$ ssh-copy-id chenc03备注：方便后期复制文件或者启动服务。因为namenode启动时候，会链接到datanode上启动对应的服务。 启动hdfs[hadoop@ chenc01 dfs]$ /home/hadoop/hadoop-3.1.3/etc/hadoop报错：2020-03-04 16:16:45,394 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable解答：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应版本解压，覆盖hadoop下/lib/native/上传之后解压：[hadoop@ chenc01 ~]$ cd hadoop-3.1.3/lib/native/[hadoop@ chenc01 native]$ lsexamples libhadoop.so libhdfs.a libnativetask.alibhadoop.a libhadoop.so.1.0.0 libhdfs.so libnativetask.solibhadooppipes.a libhadooputils.a libhdfs.so.0.0.0 libnativetask.so.1.0.0[hadoop@ chenc01 native]$ rz[hadoop@ chenc01 native]$ tar xf hadoop-native-64.tar [hadoop@ chenc01 native]$ lsexamples libhadoop.so.1.0.0 libnativetask.ahadoop-native-64.tar libhadooputils.a libnativetask.solibhadoop.a libhdfs.a libnativetask.so.1.0.0libhadooppipes.a libhdfs.solibhadoop.so libhdfs.so.0.0.0覆盖完之后重启 关闭之后在启动 [hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/[hadoop@ chenc01 hadoop]$ ../../sbin/stop-dfs.sh启动yarn也就是说我们要启动 分布式计算 [hadoop@ chenc01 hadoop]$ ../../sbin/start-yarn.sh[hadoop@ chenc01 hadoop]$ ../../sbin/start-all.sh启动jobhistory[hadoop@ chenc01 hadoop]$ ../../sbin/mr-jobhistory-daemon.sh start historyserverWeb查看集群状态浏览器输入http://10.0.0.61:8088/cluster