10G数据不用框架快速去重(3)

4、去重

vi uniq_shell.sh #!/bin/sh if [ "$#" != "2" ]; then echo "Usage: `basename $0` dir filter" exit fi for file in `find $1 -name "$2"`; do echo "$file" sort -t $"@" -k 1,1 -su ${file} >${file}_uniq done

调用：

sh ./uniq_shell.sh ./ "*.txt_utf8_menber"

最后生成去重后的文件后缀为txt_utf8_menber_uniq

其实也可以放在一个shell脚本里面完成，这里就不再阐述了。想想看10G的文件用几个简单的命令就完成了去重，可见linux的强大。所以说学几个简单的linux命令还是很有必要的，这样可以大大地降低你的工作量，提高工作的效率。