ProtocolBuffer和LZO技术Hadoop系统上的使用(2)

lzo介绍
LZO是一种高压缩比和解压速度极快的编码, 特点是

解压缩速度非常快。
LZO是无损压缩,压缩后的数据能准确还原
lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压

下面说一下如何,部署编译 Hadoop protocolBuffer 和 lzo , 我下面提到的hadoop是基于 0.19.3版本的,需要很多额外的修改源码的工作。 如果你使用的是 hadoop-0.20+ , 就省了这些麻烦的事情了, 可以不用修改代码 直接编译。

系统环境
Linux 2.6.9-78 64位系统

安装编译
安装 lzo
下载 lzo-2.03
解压

cd lzo-2.03/
./configure –enable-shared
make
sudo make install

安装成功

vi  /etc/ld.so.conf.d/local.conf  #输入内容 /usr/local/lib
sudo /sbin/ldconfig

部署 ant 和 jdk6 jdk5 和 forrest
安装apache-ant-1.7.1
解压

export ANT_HOME=/home/admin/yewang/apache-ant-1.7.1
export  PATH=$PATH:/home/admin/yewang/apache-ant-1.7.1/bin

安装jdk 6 解压到 /home/admin/yewang/jdk1.6.0_13

export JAVA_HOME=/home/admin/yewang/jdk1.6.0_13
export JDK_HOME=/home/admin/yewang/jdk1.6.0_13

安装jdk 5

wget
[shell]
解压到 /home/admin/yewang/jdk1.5.0_22/ 
 
安装 forrest
下载
解压到 /home/admin/yewang/apache-forrest-0.8
 
编译安装 支持本地库的 hadoop-0.19/strong>
[shell]wget  wget
解压

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/272c88cd87fbedd4aac0f651e5960181.html