lzo介绍
LZO是一种高压缩比和解压速度极快的编码, 特点是
解压缩速度非常快。
LZO是无损压缩,压缩后的数据能准确还原
lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压
下面说一下如何,部署编译 Hadoop protocolBuffer 和 lzo , 我下面提到的hadoop是基于 0.19.3版本的,需要很多额外的修改源码的工作。 如果你使用的是 hadoop-0.20+ , 就省了这些麻烦的事情了, 可以不用修改代码 直接编译。
系统环境
Linux 2.6.9-78 64位系统
安装编译
安装 lzo
下载 lzo-2.03 
解压
cd lzo-2.03/ 
./configure –enable-shared 
make
sudo make install
安装成功
vi  /etc/ld.so.conf.d/local.conf  #输入内容 /usr/local/lib 
sudo /sbin/ldconfig
部署 ant 和 jdk6 jdk5 和 forrest
安装apache-ant-1.7.1
解压
export ANT_HOME=/home/admin/yewang/apache-ant-1.7.1 
export  PATH=$PATH:/home/admin/yewang/apache-ant-1.7.1/bin
安装jdk 6 解压到 /home/admin/yewang/jdk1.6.0_13
export JAVA_HOME=/home/admin/yewang/jdk1.6.0_13 
export JDK_HOME=/home/admin/yewang/jdk1.6.0_13
安装jdk 5
wget  
[shell] 
解压到 /home/admin/yewang/jdk1.5.0_22/  
  
安装 forrest 
下载  
解压到 /home/admin/yewang/apache-forrest-0.8 
  
编译安装 支持本地库的 hadoop-0.19/strong> 
[shell]wget  wget 
解压
