将Hadoop映射为本地文件系统

使用Hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统.
 
而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.
 而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.
 
一、为hadoop的hdfs实现webdav协议
 
1.Webdav协议介绍:
 WebDAV（Web-based Distributed Authoring and Versioning）是基于 HTTP 1.1 的一个通信协议。
 它为 HTTP 1.1 添加了一些扩展（就是在 GET、POST、HEAD 等几个 HTTP 标准方法以外添加了一些新的方法），
 使得应用程序可以直接将文件写到 Web Server 上，并且在写文件时候可以对文件加锁，写完后对文件解锁，
 还可以支持对文件所做的版本控制。
 
2.项目介绍：
 本项目是一个hadoop namenode server的webdav协议访问代理,实现 client => hdfs-webdav proxy => hadoop namenode server的中间层.
 项目修改自tomcat的WebdavServlet,实现了WebDAV level 2协议.
 
3、项目下载：
 
 
4.项目部署
 将hdfs-webdav.war部署到tomcat中，tomcat自动将其解压
 
修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml
 
<?xml version="1.0" encoding="UTF-8"?>
 <?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/configuration.xsl"?>
 <!-- Put site-specific property overrides in this file. -->
 <configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.0.210:9000/</value>
    <description>namenode</description>
  </property>
 
  <!--uri : UserGroupInfomation -->
  <property>
  <name>hadoop.job.ugi</name>
  <value>hadoop,root</value>
  <description>UserGroupInfomation,value=user,group</description>
  </property>
 </configuration>
 
替换hadoop-xxxx-core.jar版本
 由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.18.1-core.jar的版本
 例如：
  删除hadoop-0.18.1-core.jar
  拷贝hadoop-0.20.2-core.jar（不需要将其重命名为hadoop-0.18.1-core.jar）
 
5、部署在其它服务器中时需要tomcat的catalina.jar与tomcat-coyote.jar,拷贝至WEB-INF/lib目录,因为现在项目是从tomcat的WebdavServlet中修改而来的
 
6、测试是否部署成功
 访问:8080/hdfs-webdav