Hadoop 运行模式
一、本地运行模式
二、伪分布式运行模式
三、完全分布式运行模式（开发重点）
一、本地运行模式
一）官方 Grep 案例 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
1.创建在 hadoop-3.2.1 文件下面创建一个 input 文件夹
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ mkdir input
2.将 Hadoop 的 xml 配置文件复制到 input
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ cp etc/hadoop/*.xml input
3.执行 share 目录下的 MapReduce 程序。output 不能预先创建，输出符合正则表达式的个数
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’
4.查看输出结果
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ cat output/*
二）官方 WordCount 案例
1.创建在 hadoop-2.7.2 文件下面创建一个 wcinput 文件夹
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ mkdir wcinput
2.在 wcinput 文件下创建一个 wc.input 文件
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ cd wcinput
[linjing@CentOS_Hadoop_01 wcinput]$ touch wc.input
3.编辑 wc.input 文件
[linjing@CentOS_Hadoop_01 wcinput]$ vim wc.input
在文件中输入如下内容
hadoop yarn hadoop yarn
hadoop mapreduce
linjing hadoop yarn
rengui
4.回到 Hadoop 目录 /opt/module/hadoop-3.2.1
5.执行程序
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount wcinput wcoutput //运行 jar 包下的 wordcount 主类
6.查看结果 [linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ cat wcoutput/*
doop 1
hadoop 3
linjing 1
mapreduce 1
rengui 1
yarn 3
二、伪分布式运行模式
一）启动 HDFS 并运行 MapReduce 程序
1.分析
（1）配置集群
（2）启动、测试集群增、删、查
（3）执行 WordCount 案例
2.执行步骤
（1）配置集群
Hadoop 的各个组件均用 XML 文件进行配置, 配置文件都放在 /opt/module/hadoop-3.2.1/etc/hadoop 目录中：
（a）配置：
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ vim etc/hadoop/hadoop-env.sh
Linux 系统中获取 JDK 的安装路径：
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ echo $JAVA_HOME 返回 /opt/module/jdk-13.0.2
修改 JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk-13.0.2
（b）配置通用属性 core-site.xml，例如 HDFS 和 MapReduce 常用的 I/O 设置等
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ vim etc/hadoop/core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop002:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.2.1/data/tmp</value>
</property>
hadoop.tmp.dir：指定 Hadoop 数据存储的临时目录，其它目录会基于此路径, 建议设置到一个足够空间的地方，而不是默认的 /tmp下
如没有配置 hadoop.tmp.dir 参数，系统使用默认的临时目录：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删除，必须重新执行 format 才行，否则会出错
（c）配置 Hadoop 守护进程 hdfs-site.xml，包括 namenode、辅助 namenode 和 datanode 等
[linjing@CentOS_Hadoop_01 hadoop-3.2.1]$ vim etc/hadoop/hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
dfs.name.dir：指定namenode节点的文件存储目录
dfs.data.dir：指定datanode节点的文件存储目录
（d）vim etc/hadoop/workers //指定 hadoop002 启动 datanade 。多台机器就盖楼就好 ，一台机器 localhost 不用改也行
localhost 改为 hadoop002
(e) 配置 SSH 连接本地主机
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ ssh localhost
（2）启动集群
① 格式化NameNode（第一次启动时格式化，以后就不要总格式化。格式化前，把服务停止，然后把 logs data 删除）
bin/hdfs namenode -format
② 启动 NameNode 守护程序和 DataNode 守护程序
sbin/start-dfs.sh 或者 start-all.sh（启动全部）
停止可使用 stop-all.sh
hadoop-daemon.sh start namenode //只启动 namenode
[linjing@hadoop205 hadoop]$ hdfs –daemon stop secondarynamenode //停止secondarynamenode
（3）查看集群
① 查看是否启动
jps 注意：jps 是 JDK 中的命令，不是 Linux 命令。不安装 JDK 不能使用 jps
② Web 端查看 HDFS 文件系统
http:hadoop002:9870
③ 查看产生的 Log 日志
说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。
[linjing@hadoop002 hadoop-3.2.1]$ cd logs
[linjing@hadoop002 logs]$ cat hadoop-linjing-datanode-hadoop002.log
[linjing@hadoop002 logs]$ cat hadoop-linjing-namenode-hadoop002.log
思考：为什么不能一直格式化NameNode，格式化NameNode，要注意什么？
[linjing@hadoop002 hadoop-3.2.1]$ cd data/tmp/dfs/name/current/
[linjing@hadoop002 current]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
[linjing@hadoop002 hadoop-3.2.1]$ cd data/tmp/dfs/data/current/
[linjing@hadoop002 current]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
注意：格式化 NameNode，会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。所以，格式 NameNode 时，一定要先删除 data 数据和 logs 日志，然后再格式化NameNode。
（4）操作集群
① 创建执行 MapReduce 作业所需的 HDFS 目录：在 HDFS 文件系统上创建一个 input 文件夹
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -mkdir -p /user/linjing/input
② 将测试文件复制到分布式文件系统
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -put wcinput/wc.input /user/linjing/input
③ 查看上传的文件是否正确
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -ls /user/linjing/input/
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -cat /user/linjing/input/wc.input
④ 运行 MapReduce 程序
[linjing@hadoop002 hadoop-3.2.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /user/linjing/input /user/linjing/output
或者 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’
⑤ 查看输出文件
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -cat /user/linjing/output/*
⑥ 将测试文件下载到本地
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -get /user/linjing/output/part-r-00000 ./wcout-put/
⑦ 删除输出结果
[linjing@hadoop002 hadoop-3.2.1]$ hdfs dfs -rm -r /user/linjing/output
⑧ 完成后，停止守护进程
[linjing@hadoop002 hadoop-3.2.1]$ sbin/stop-dfs.sh
二）启动 YARN 并运行 MapReduce 程序
1.分析
（1）配置集群在 YARN 上运行MR
（2）启动、测试集群增、删、查
（3）在 YARN 上执行 WordCount 案例
2.执行步骤
（1）配置集群
（a）配置 yarn-site.xml：资源调度相关配置
[linjing@hadoop002 hadoop]$ vim etc/hadoop/yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop002</value>
</property>
（b）配置 mapred-site.xml：MapReduce 守护进程配置
[linjing@hadoop002 hadoop-3.2.1]$ vim etc/hadoop/mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME=/opt/module/hadoop-3.2.1
:PATH=$PATH:$HADOOP_HOME/bin:PATH=$PATH:$HADOOP_HOME/sbin}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME=/opt/module/hadoop-3.2.1
:PATH=$PATH:$HADOOP_HOME/bin:PATH=$PATH:$HADOOP_HOME/sbin}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME=/opt/module/hadoop-3.2.1
:PATH=$PATH:$HADOOP_HOME/bin:PATH=$PATH:$HADOOP_HOME/sbin}</value>
</property>
(c) 在 start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
[linjing@hadoop002 hadoop]$ vim sbin start-dfs.sh
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
（d）在 start-yarn.sh，stop-yarn.sh 两个文件顶部添加以下参数
[linjing@hadoop002 hadoop]$ vim sbin start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
（2）启动集群
[linjing@hadoop002 hadoop-3.2.1]$ start-yarn.sh
(3)集群操作
（a）YARN的浏览器页面查看，http://hadoop002:8088
（b）删除文件系统上的 output 文件
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -rm -R /user/linjing/output
（c）执行 MapReduce 程序
[linjing@hadoop002 hadoop-3.2.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /user/linjing/input /user/linjing/output
（d）查看运行结果
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -cat /user/linjing/output/*
三）配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。
1.配置 mapred-site.xml
[linjing@hadoop002 hadoop-3.2.1]$ vim etc/hadoop/mapred-site.xml
在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
2.启动历史服务器
[linjing@hadoop002 hadoop-3.2.1]$ mapred –daemon start historyserver
3.查看历史服务器是否启动
[linjing@hadoop002 hadoop-3.2.1]$ jps
4.查看 JobHistory http://hadoop101:19888/jobhistory
四）配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryManager。
开启日志聚集功能具体步骤如下：
1.配置 etc/hadoop/yarn-site.xml
在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 .604800秒-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2.关闭 NodeManager 、ResourceManager 和 HistoryManager
3.启动 NodeManager 、ResourceManager 和 HistoryManager
4.删除 HDFS 上已经存在的输出文件
[linjing@hadoop002 hadoop-3.2.1]$ bin/hdfs dfs -rm -R /user/linjing/output
5.执行WordCount程序
[linjing@hadoop002 hadoop-3.2.1]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /user/linjing/input /user/linjing/output
6.查看日志，
http://hadoop101:19888/jobhistory
五）配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：
（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。
三、完全分布式运行模式（开发重点）
一）虚拟机准备
详见 https://moistlin.cn/posts/环境搭建之克隆虚拟机_JDK_Hadoop
二）编写集群分发脚本 xsync
1.scp（secure copy）安全拷贝
scp 命令可在不同主机上运行,运行该命令，一是直接用 IP 地址，二是配置好主机名与 IP 的软连接，再用主机名。
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称(用户@主机名：源文件所在目录) 目的用户@主机:目的路径/名称
scp -r hadoop001:/xxx/xxx hadoop002:/xxx/xxx
scp -r root@hadoop001:/xxx/xxx root@hadoop002:/xxx/xxx
scp -r root@hadoop002:/opt linjing@hadoop010:/opt
拷贝完成后，修改所有文件的，所有者和所有者组。sudo chown linjing:linjing -R /opt/module
2，rsync 远程同步工具
rsync 不能两台皆为远程主机，只拷贝差异文件
rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
rsync -av root@hadoop001:/xxx/xxx /xxx/xxx
3.xsync 集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）脚本实现 （a）在 /home/linjing 目录下创建 bin 目录，并在 bin 目录下 xsync 创建文件，文件内容如下：
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin/
[atguigu@hadoop102 bin]$ touch xsync
[atguigu@hadoop102 bin]$ vi xsync
在该文件中编写如下代码
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=164; host<166; host++)); do
echo ------------------- 192.168.2.$host --------------
rsync -av $pdir/$fname $user@192.168.2.$host:$pdir
done
(b) 修改脚本 xsync 具有执行权限
[atguigu@hadoop102 bin]$ chmod 777 xsync
(c)实现全局使用，可以将 xsync 移动到 /usr/local/bin 目录下。
[linjing@hadoop012 bin]$ sudo cp xsync /bin
（d）调用脚本形式：xsync 文件名称
[atguigu@hadoop102 bin]$ xsync /home/linjing/bin //把 bin 分发给其他集群
三）集群配置
1.集群部署规划
2。配置集群
不同版本 Hadoop 中，配置 Java 环境，更改名。都是不同的。
2.1核心配置文件
配置 core-site.xml
[linjing@hadoop203 hadoop]$ vi core-site.xml
在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop203:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
2.2 HDFS配置文件
配置 hadoop-env.sh
[linjing@hadoop203 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 hdfs-site.xml
[linjing@hadoop203 hadoop]$ vi hdfs-site.xml
在该文件中编写如下配置
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop205:50090</value>
</property>
2.3 YARN 配置文件
配置 yarn-env.sh
[linjing@hadoop203 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 yarn-site.xml
[linjing@hadoop203 hadoop]$ vi yarn-site.xml
在该文件中增加如下配置
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop204</value>
</property>
2.4 MapReduce 配置文件
配置 mapred-env.sh
[linjing@hadoop203 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 mapred-site.xml
[linjing@hadoop203 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[linjing@hadoop203 hadoop]$ vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3。在集群上分发配置好的 Hadoop 配置文件
[linjing@hadoop203 hadoop]$ xsync /opt/module/hadoop-2.7.2/
4．查看文件分发情况
[linjing@hadoop204 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
四）集群单点启动
这种方法比较笨重，当启动大规模节点时不管用
1.如果集群是第一次启动，需要格式化 NameNode
[linjing@hadoop203 hadoop]$ hdfs namenode -format
2.在 hadoop203 上启动 NameNode [linjing@hadoop203 hadoop-2.7.2]$ hadoop-daemon.sh start namenode //2.7.2
[linjing@hadoop203 hadoop]$ hdfs –daemon start namenode //3.2.1
3.在 hadoop203、hadoop204 以及 hadoop205 上分别启动 DataNode
[linjing@hadoop203 hadoop]$ hdfs –daemon start datanode
[linjing@hadoop204 hadoop]$ hdfs –daemon start datanode
[linjing@hadoop205 hadoop]$ hdfs –daemon start datanode
4.在 hadoop205 上启动 SecondaryNameNode
[linjing@hadoop205 hadoop]$ hdfs –daemon start secondarynamenode
5.在 192.168.2.133：50070 （2.7.2）192.168.2.133：9870 （3.2.1）查看
五）SSH 无密登录配置
1.配置 ssh
（1）基本语法
ssh 另一台电脑的 ip 地址
（2）ssh连接时出现 Host key verification failed 的解决方法，直接输入 yes
[linjing@hadoop203 ~]$ ssh root@192.168.2.164 //hadoop203 的 IP 为 192.168.2.163
[root@hadoop204 ~]# ifconfig //192.168.2.164
[root@hadoop204 ~]# exit //退出 192.168.2.164
[linjing@hadoop203 ~]$ pwd
[linjing@hadoop203 ~]$ ls -a
[linjing@hadoop203 ~]$ cd .ssh/
[linjing@hadoop203 .ssh]$ vim known_hosts //可看到别的机器的公钥
2.无密钥配置
2.1 免密登录原理
2.2 生成公钥和私钥
[linjing@hadoop133 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
2.3 将公钥拷贝到要免密登录的目标机器上 [linjing@hadoop133 .ssh]$ ssh-copy-id 192.168.2.133/4/5
注意：
还需要在 hadoop133 上采用 root 账号，配置一下无密登录到 hadoop133、hadoop134、hadoop135；
还需要在 hadoop134 上采用 linjing 账号配置一下无密登录到 hadoop133、hadoop134、hadoop135服务器上。
[root@hadoop133 .ssh]# ssh-keygen -t rsa
[root@hadoop133 .ssh]# ssh-copy-id 192.168.2.133/4/5
[linjing@hadoop134 .ssh]# ssh-keygen -t rsa
[linjing@hadoop134 .ssh]# ssh-copy-id 192.168.2.133/4/5
3.ssh 文件夹下（~/.ssh）的文件功能解释
authorized_keys 存放授权过的无密登录服务器公钥
id_rsa 生成的私钥
id_rsa.pub 生成的公钥
known_hosts 记录 ssh 访问过的计算机的公钥（public key）
六）群起集群
1.配置 slaves
[linjing@hadoop133 hadoop]$ vi /opt/module/hadoop-2.7.2/etc/hadoop/slaves
在该文件中增加如下内容：
hadoop133
hadoop134
hadoop135
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件
[linjing@hadoop133 hadoop]$ xsync slaves
2.启动集群
2.1 如果集群是第一次启动，需要格式化 NameNode（注意格式化之前，一定要先停止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 logs 数据）
[linjing@hadoop133 hadoop-2.7.2]$ bin/hdfs namenode -format
2.2 启动 HDFS
启动前，一定要注意以什么用户操作的。（坑）
[linjing@hadoop133 hadoop-2.7.2]$ sbin/start-dfs.sh
[linjing@hadoop133 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[linjing@hadoop134 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[linjing@hadoop135 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
2.3 启动 YARN
[linjing@hadoop134 hadoop-2.7.2]$ sbin/start-yarn.sh
注意：NameNode 和 ResourceManger 如果不是同一台机器，不能在 NameNode 上启动 YARN，应该在ResouceManager 所在的机器上启动 YARN。
2.4 Web 端查看 SecondaryNameNode
（a）浏览器中输入：http://hadoop104:50090/status.html
（b）查看 SecondaryNameNode 信息，
3.集群基本测试
（1）上传文件到集群
上传小文件
[linjing@hadoop133 hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/linjing/input
[linjing@hadoop133 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/linjing/input
上传大文件
[linjing@hadoop133 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/linjing/input
（2）上传文件后查看文件存放在什么位置
（a）查看 HDFS 文件存储路径
[linjing@hadoop133 hadoop-2.7.2]$ cd /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-922274068-192.168.2.133-1580781681068/current/finalized/subdir0/subdir0
[linjing@hadoop133 subdir0]$ pwd
（b）查看 HDFS 在磁盘存储文件内容
[linjing@hadoop133 subdir0]$ cat blk_1073741825
显示如下：
hadoop yarn
hadoop mapreduce
atguigu
（3）拼接
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta
在 http://192.168.2.133:50070 查看文件分成了几个 id 保存
[linjing@hadoop133 subdir0]$ cat blk_1073741836 » tmp.file
[linjing@hadoop133 subdir0]$ cat blk_1073741837 » tmp.file
[linjing@hadoop133 subdir0]$ tar -zxvf tmp.file
（4）下载
[linjing@hadoop133 hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz ./
七）集群启动、停止
1.各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
（2）启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
2.各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止 HDFS
start-dfs.sh / stop-dfs.sh
（2）整体启动/停止YARN
start-yarn.sh / stop-yarn.sh
八）集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
配置时间同步具体实操：
1.时间服务器配置（必须 root 用户）
（1）检查 ntp 是否安装
[root@hadoop133 linjing]# rpm -qa|grep ntp
（2）修改 ntp 配置文件
[root@hadoop133 linjing]# vi /etc/ntp.conf
修改内容如下
a）修改 1（授权 192.168.1.0-192.168.1.255 网段上的所有机器可以从这台机器上查询和同步时间）
将 #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 的注释去掉
b）修改 2（集群在局域网中，不使用其他互联网上的时间） 将下边内容注释
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加 3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改 /etc/sysconfig/ntpd 文件
[root@hadoop133 linjing]# vim /etc/sysconfig/ntpd
增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
（4）重新启动 ntpd 服务
[root@hadoop133 linjing]# service ntpd status
ntpd 已停
[root@hadoop133 linjing]# service ntpd start
正在启动 ntpd： [确定]
（5）设置 ntpd 服务开机启动
[root@hadoop133 linjing]# chkconfig ntpd on
2.其他机器配置（必须 root 用户）
（1）在其他机器配置 10 分钟与时间服务器同步一次
[root@hadoop134 linjing]# crontab -e
编写定时任务如下：
*/10 * * * * /usr/sbin/ntpdate hadoop133
（2）修改任意机器时间
[root@hadoop134 ~]# date -s “2020-2-5 11:11:11”
（3）十分钟后查看机器是否与时间服务器同步
[root@hadoop134 ~]# date
或即刻同步 [root@hadoop134 linjing]# /usr/sbin/ntpdate hadoop133
说明：测试的时候可以将 10 分钟调整为 1 分钟，节省时间。
韧桂 2020-01-18