lzo介绍
LZO是一种高压缩比和解压速度极快的编码, 特点是
解压缩速度非常快。
LZO是无损压缩,压缩后的数据能准确还原
lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压
下面说一下如何,部署编译 Hadoop protocolBuffer 和 lzo , 我下面提到的hadoop是基于 0.19.3版本的,需要很多额外的修改源码的工作。 如果你使用的是 hadoop-0.20+ , 就省了这些麻烦的事情了, 可以不用修改代码 直接编译。
系统环境
Linux 2.6.9-78 64位系统
安装编译
安装 lzo
下载 lzo-2.03
解压
cd lzo-2.03/
./configure –enable-shared
make
sudo make install
安装成功
vi /etc/ld.so.conf.d/local.conf #输入内容 /usr/local/lib
sudo /sbin/ldconfig
部署 ant 和 jdk6 jdk5 和 forrest
安装apache-ant-1.7.1
解压
export ANT_HOME=/home/admin/yewang/apache-ant-1.7.1
export PATH=$PATH:/home/admin/yewang/apache-ant-1.7.1/bin
安装jdk 6 解压到 /home/admin/yewang/jdk1.6.0_13
export JAVA_HOME=/home/admin/yewang/jdk1.6.0_13
export JDK_HOME=/home/admin/yewang/jdk1.6.0_13
安装jdk 5
wget
[shell]
解压到 /home/admin/yewang/jdk1.5.0_22/
安装 forrest
下载
解压到 /home/admin/yewang/apache-forrest-0.8
编译安装 支持本地库的 hadoop-0.19/strong>
[shell]wget wget
解压