ProtocolBuffer和LZO技术Hadoop系统上的使用(3)

vi conf/Hadoop-default.xml

修改

<property>

<name>io.compression.codecs</name>

<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>

</property>

编译安装 hadoop lzo 本地库及jar
下载
解压

export CFLAGS=-m64
export CXXFLAGS=-m64
ant compile-native tar
需要 部署的内容在 build/hadoop-lzo-0.4.4.tar.gz 中
copy到集群机器解压
将lib/native/Linux-amd64-64/下所有文件 复制到 /home/admin/hadoop_sta/hadoop/lib/native/Linux-amd64-64 目录下。下载的版本中的jar包 是基于hadoop 0.20+开发的。如果你选用的是 hadoop 0.20+ 的版本 可以直接用 ,名字是 hadoop-lzo-0.44.jar。这个jar包 需要copy 到 集群的每台机器的 hadoop/lib 目录下。如果是 hadoop-0.19 请下载我提供的hadoop-lzo版本 ,解压后进行ant 编译即可, 链接是:
https://docs.google.com/leaf id=0B_QnJPSut6_SODAzZmU4YWMtYmQ4Ni00MTNmLTgzMTUtZTg3ZjQzNTgxMzU1&hl=zh_CN (需要翻墙)
安装protocolBuffer
官方网站
下载
name=protobuf-2.3.0.tar.gz&can=2&q=
解压后 请 参考目录下的readme进行安装
官网里面关于如何使用,讲的很清楚 大家仔细看吧
编译c++版本 , 在hadoop集群的每一个节点上都需要安装, 并且其so的路径 需要加到 /etc/ld.so.conf.d/的配置中
编译java版本, */java/目录下 ,进入参考readme, 编译 ,会生成一个 protobuf-java-2.3.0.jar 的包 , 需要copy到每个 hadoop节点的 hadoop/lib 目录下
编译 Python版本,*/python/目录下 ,进入参考readme, 编译 , 在hadoop集群的每一个节点上都需要安装, python版本要2.4以上
安装elephant-bird
下载
解压
ant
编译生成的jar包 elephant-bird-1.0.jar, 需要copy到集群所有机器的hadoop lib 目录下
cp dist/elephant-bird-1.0.jar /home/admin/hadoop_sta/hadoop/lib

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/272c88cd87fbedd4aac0f651e5960181.html