大数据初级笔记二:Hadoop入门之Hadoop集群搭建

  把环境全部准备好,包括编程环境。

JDK安装

版本要求:

  强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术,所以建议在搭建系统环境的时候把JDK的版本安装为64位。

如果已经安装,在你不确定安装的版本情况下,可以使用如下方式查看:快捷键WIN+R,调出DOS窗口,然后输入java –version就可以了,如图所示:

大数据初级笔记二:Hadoop入门之Hadoop集群搭建

IDEAK编程工具安装

破解工具:IDEAKeyTool.jar

  使用的方法:打开DOS,然后输入用户名USER_NAME即可获取秘钥。将计算好的秘钥输入到IDEA当中安装即可。

大数据初级笔记二:Hadoop入门之Hadoop集群搭建

1:将maven加入到IDEA当中,如果有安装maven

2:将jdk加入到IDEA当中,否则编写的程序报错

3:改变字体的大小,含代码区域和控制台

4:改变编码,否则默认新建的java文件的编码是GBK

Maven安装

安装包:已经下载好了,如果在mvn –version出现部分报错,由于windows的权限问题导致的,参照`读我.txt`解决该问题,如果你使用管理员权限,也可以直接解决该报错问题。

环境变量的添加:%PATH%

查看maven是否正常安装:mvn –version

大数据初级笔记二:Hadoop入门之Hadoop集群搭建

前提条件下,你的JDK正常安装并且已经加入系统环境变量。

Maven中央仓库:

Maven本地仓库:C:\Users\hasee\.m2\repository

先本地查找,然后没有再联网到中央仓库查找需要的依赖,实际上Linux的RPM包也有它的中央仓库,我们用yum安装的时候其实就是通过中央仓库来完成所有的依赖构建的。

RPM包中央仓库:

Maven配置文件讲解:

<groupId>MLlibLearnging</groupId><!--项目组唯一标识-->
<artifactId>MLlib</artifactId><!--项目唯一标识-->
<version>1.0-SNAPSHOT</version><!--版本-->
假设上面是我们创建的Mavne工程项目的配置文件的坐标,如果你想要在本地的仓库中看到这个,那么必须先将其install即可。具体的做法如下:

大数据初级笔记二:Hadoop入门之Hadoop集群搭建

当我们构建Maven的时候,如果出现报错,比如出现MojoExecutionException报错的情况下,请参考如下方法自行解决:

参考资料:

官方资料说明:https://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

其它资料说明:

解决说明:主要是JDK的环境变量配置问题导致出错。

正常Install后,我们就可以看见我们自己构建的maven项目出现在本地的文件库了。

<groupId>MLlibLearnging</groupId>
<artifactId>MLlib</artifactId>
<version>1.0-SNAPSHOT</version>
上面的用本地文件库的地址表示就是:

C:\Users\hasee\.m2\repository\MLlibLearnging\MLlib\1.0-SNAPSHOT

大数据初级笔记二:Hadoop入门之Hadoop集群搭建

  通过查询本地库,可以发现组ID,项目唯一ID,和版本号在本地仓库的路径关系。可以肯定的是,如果install后,那么本地仓库当中会出现我们自己构建的maven项目工程,如果以后我们自己需要引用到我们自己构建的maven项目,那么,我们也可以按照常规的引用方式去引用,那么maven会先在本地的仓库当中查找,先从组ID查找,然后再从项目唯一ID查找,然后再通过版本号确定具体的版本,然后找到对应的jar文件即可。

虚拟机安装

Linux安装及基本命令运用

镜像安装

文件基本操作

增删改查:

创建文件:touch,vim,mkdir

移动和修改文件名:mv

删除文件:rm –rf(强制删除)

复制文件:cp 复制目录加-R,R表示recursive,具体可以查看man cp

退回上一级目录:cd ..(注意,cd后面要空格,否则语法错误)

查看:cat,more,tail,head

tail的动态显示:tail –F

查询倒数第N行数据:tail –n N 文件

查询前面第N行数据:head –n N 文件  --àhead -n 10 services

注意,上面的 –n可以省略不写,直接写成head 10 services 或者tail 10 services

解压:tar –xvzf

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zgyxww.html