Hadoop集群环境部署(5)

日期：2020-06-07 栏目：程序人生浏览：次

【这里记录一下，环境中遇到的一些有用的解决特定问题的shell】

1、如果集群中使用到了chukwa搜集数据，又需要导入hive进行分析，因为load之后，chukwa目录中会留下许多空目录，白白耗费namenode内存

function clear_empty(){ list=`Hadoop dfs -du $CHUKWA_DIR/$1 |awk -F " " '$1=={print $2}'` for item in $list do hadoop dfs -rmr $item done }