最后文件内容为:
JAVA_HOME=http://www.likecs.com/opt/module/jdk1.8.0_121 HADOOP_HOME=http://www.likecs.com/opt/module/hadoop-2.7.2 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME PATH HADOOP_HOME Hadoop目录结构查看Hadoop目录结构
重要目录
bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例
Hadoop运行模式Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop官方网站：
本地运行模式 官方Grep案例创建在hadoop-2.7.2文件下面创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2]$ mkdir input将Hadoop的xml配置文件复制到input
[atguigu@hadoop101 hadoop-2.7.2]$ cp etc/hadoop/*.xml input执行share目录下的MapReduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'查看输出结果
[atguigu@hadoop101 hadoop-2.7.2]$ cat output/* 官方WordCount案例创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput在wcinput文件下创建一个wc.input文件
[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput [atguigu@hadoop101 wcinput]$ touch wc.input编辑wc.input文件
[atguigu@hadoop101 wcinput]$ vi wc.input在文件中输入如下内容
hadoop yarn hadoop mapreduce atguigu atguigu保存退出：：wq
回到Hadoop目录/opt/module/hadoop-2.7.2
执行程序
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
查看结果
1.命令查看
[atguigu@hadoop101 hadoop-2.7.2]$ cat wcoutput/part-r-00000 atguigu 2 hadoop 2 mapreduce 1 yarn 1 2.浏览器查看
:50070
伪分布式运行模式 启动HDFS并运行MapReduce程序
分析
配置集群
启动、测试集群增、删、查
执行WordCount案例
执行步骤
配置集群
配置: hadoop-env.sh
Linux系统中获取JDK的安装路径：
[atguigu@ hadoop101 ~]# echo $JAVA_HOME /opt/module/jdk1.8.0_144
修改JAVA_HOME 路径：
export JAVA_HOME=http://www.likecs.com/opt/module/jdk1.8.0_144
配置: core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mypc:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>
配置: hdfs-site.xml
<!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property>
启动集群
格式化NameNode（第一次启动时格式化，以后就不要总格式化）
atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format
启动NameNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
启动DataNode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
查看集群
查看是否启动成功
[atguigu@hadoop101 hadoop-2.7.2]$ jps 13586 NameNode 13668 DataNode 13786 Jps注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps
web端查看HDFS文件系统
查看产生的Log日志
说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。