Hadoop查看目录空间使用情况

Hadoop查看目录空间使用情况
命令:hadoop fs -count [-q] <paths>
统计出目录数、文件数及指定路径下文件的大小,输出列为:

DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME.
带上-q选项后的输出列为:

QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME.

查看指定目录下各子目录包含的目录数和文件数

awk 'BEGIN{while(("hadoop fs -ls /group/tmp/" | getline) >0){var = "hadoop fs -count "$8; system(var); }}' | sort -rk 1 | cat > shaka.dat

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/5040b9f59965694fcae1aa802adaedcf.html