使用NFS服务提高Hadoop 可靠性

众所周知 Hadoop是一个单点系统,即所谓的spof,所以元数据的保护就是重中之重。目前元数据写两份,分别是本地的磁盘,远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。

NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。

首先下载NFS,网址是 选择合适的版本下载。到server和client机器安装。

编辑server主机的文件/etc/exports /etc/hosts.allow /etc/hosts.deny三个文件。

对/etc/exports  加入例如:/data0 10.39.2.121(rw,no_root_squash)

其中/data0为对外开放的目录  后面是机器加权限,详细说明见

启动nfs server的服务:

/etc/init.d/portmap start

/etc/init.d/nfslock start

/etc/init.d/nfs start   

在client端同样启动相同的服务。

同时在client端挂在远程目录  sudo mount master:/data0/ /data1

/data1是client端本地目录。

相关阅读

Hadoop在NFS上的配置 

Hadoop&Hbase 备份方案--NFS 

于Hadoop集群的Hive安装

Hadoop环境配置过程中可能遇到问题的解决方案

基于Ubuntu 12.04+Hadoop1.2.0 的Hadoop集群搭建

Hadoop Eclipse 插件编译安装1.2.0

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/4f0e25f37c8c2a10cf197f8913089f45.html