Hadoop可视化分析利器之Hue

先来看下hue的架构图: 

Hadoop可视化分析利器之Hue

 


(1)Hue是什么? 

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。 


(2)Hue能干什么? 

1,访问HDFS和文件浏览 
2,通过web调试和开发hive以及数据结果展示 
3,查询solr和结果展示,报表生成 
4,通过web调试和开发impala交互式SQL Query 
5,spark调试和开发 
6,Pig开发和调试 
7,oozie任务的开发,监控,和工作流协调调度 
8,Hbase数据查询和修改,数据展示 
9,Hive的元数据(metastore)查询 
10,MapReduce任务进度查看,日志追踪 
11,创建和提交MapReduce,Streaming,Java job任务 
12,Sqoop2的开发和调试 
13,Zookeeper的浏览和编辑 
14,数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示 

(3)Hue怎么用或者什么时候应该用? 

如果你们公司用的是CDH的hadoop,那么很幸运,Hue也是出自CDH公司,自家的东西用起来当然很爽。 

如果你们公司用的是Apache Hadoop或者是HDP的hadoop,那么也没事,Hue是开源的,而且支持任何版本的hadoop。 

关于什么时候用,这纯属一个锦上添花的功能,你完全可以不用hue,因为各种开源项目都有自己的使用方式和开发接口,hue只不过是统一了各个项目的开发方式在一个接口里而已,这样比较方便而已,不用你一会准备使用hive,就开一个hive的cli终端,一会用pig,你就得开一个pig的grunt,或者你又想查Hbase,又得需要开一个Hbase的shell终端。如果你们使用hadoop生态系统的组件很多的情况下,使用hue还是比较方便的,另外一个好处就是hue提供了一个web的界面来开发和调试任务,不用我们再频繁登陆Linux来操作了。 

你可以在任何时候,只要能上网,就可以通过hue来开发和调试数据,不用再装Linux的客户端来远程登陆操作了,这也是B/S架构的好处。 


(4)如何下载,安装和编译Hue? 

CentOS系统,执行命令: 
yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel  libtidy  libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel Python-devel  sqlite-devel openssl-devel  gmp-devel 


1,hue的依赖(centos系统) 

ant 

asciidoc 

cyrus-sasl-devel 

cyrus-sasl-gssapi 

gcc 

gcc-c++ 

krb5-devel 

libtidy (for unit tests only) 

libxml2-devel 

libxslt-devel 

make 

mvn (from maven package or maven3 tarball) 

mysql 

mysql-devel 

openldap-devel 

python-devel 

sqlite-devel 

openssl-devel (for version 7+) 



2,散仙的在安装hue前,centos上已经安装好了,jdk,maven,ant,hadoop,hive,oozie等,环境变量如下:

Java代码 

user="search" 

 

# java 

export JAVA_HOME="/usr/local/jdk" 

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 

export PATH=$PATH:$JAVA_HOME/bin 

 

# ant   

export ANT_HOME=/usr/local/ant 

export CLASSPATH=$CLASSPATH:$ANT_HOME/lib 

export PATH=$PATH:$ANT_HOME/bin 

 

# maven   

export MAVEN_HOME="/usr/local/maven" 

export CLASSPATH=$CLASSPATH:$MAVEN_HOME/lib 

export PATH=$PATH:$MAVEN_HOME/bin 

 

 

 

##Hadoop2.2的变量设置 

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

export HADOOP_HOME=/home/search/hadoop 

export HADOOP_MAPRED_HOME=$HADOOP_HOME 

export HADOOP_COMMON_HOME=$HADOOP_HOME 

export HADOOP_HDFS_HOME=$HADOOP_HOME 

export YARN_HOME=$HADOOP_HOME 

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop 

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

export CLASSPATH=.:$CLASSPATH:$HADOOP_COMMON_HOME:$HADOOP_COMMON_HOMEi/lib:$HADOOP_MAPRED_HOME:$HADOOP_HDFS_HOME:$HADOOP_HDFS_HOME 

 

 

 

# Hive   

 

export HIVE_HOME=/home/search/hive   

export HIVE_CONF_DIR=/home/search/hive/conf   

export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib   

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf   

 

 

export OOZIE_HOME="/home/search/oozie-4.1.0" 

export PATH=$PATH:$OOZIE_HOME/sbin:$OOZIE_HOME/bin 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9cc6197faa692804b56a415e608cf8d9.html