Ubuntu单机安装配置Hadoop(2)

在命令行中输入如下内容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 这个过程中持续按回车就可以了 */
cat id_rsa.pub >> authorized_keys


7.启动与停止

第一次启动hdfs需要格式化,在命令行中输入如下命令(出现询问输入Y or N,全部输Y即可)
cd /opt/hadoop-2.7.6
./bin/hdfs namenode -format 


启动
./sbin/start-dfs.sh


停止
./sbin/stop-dfs.sh


验证,浏览器输入::50070

Ubuntu单机安装配置Hadoop

简单的验证hadoop命令:
hadoop fs -mkdir /test


在浏览器查看,出现如下图所示,即为成功

Ubuntu单机安装配置Hadoop

你也可以输入以下命令上传文件到hadoop
hadoop fs -put  /test 1.txt  /test


8.配置yarn

8.1 配置mapred-site.xml

命令行中输入如下命令:
cd /opt/hadoop-2.7.6/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml


在文件中添加内容
<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


8.2 配置yarn-site.xml

命令行中输入如下命令:
sudo gedit yarn-site.xml


在文件中添加内容
<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


8.3 yarn启动与停止

启动
cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh 


停止
./sbin/stop-yarn.sh

浏览器查看::8088

Ubuntu单机安装配置Hadoop

jps查看进程

Ubuntu单机安装配置Hadoop

输出如下所示,则表示hadoop单机模式配置成功

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9d41ed77f74403c98ec31dad9fb05c75.html