几个与文本处理相关的Linux命令总结

1.当前目录下有若干文件,找出扩展名为TextGrid的所有文件,并复制到…/file_set。
find . -name "*.TextGrid" \-exec cp {} ../file_set/ \;

2.当前目录下有若干文件,找出扩展名为“TextGrid”且非UTF-8(UTF-8 Unicode Text,with CRLF line terminators)编码的文件,并将其移动到…/trash。该类型的文件命名规则为16位随机数字。
for s_file in `for t_file in $(ls *.TextGrid);do file $t_file|grep -v "UTF-8 Unicode Text,with CRLF line terminators"|grep -o -E [0-9]{16}\.TextGrid;done` do mv $s_file ../trash ;done

3.产生一个含有大写字母和数字长度为8的随机字符串。
echo $RANDOM|md5sum|tr -t [a-z] [A-Z]|cut -b 1-8

4.批量删除文本中以某指定字符串匹配的行。
sed -i '/^sid/d' test.txt

5.查看系统中所有人可读写执行的不安全文件。
find / -perm 777 -a \! -type s -a \! -type l -a \! \( -type d -a -perm 1777 \)

6.当前目录中有300个文件,现需要从该批文件中随机选取100个并移动到上层目录to_dir中。
for $files in `ls|sort --random-sort|head -n 100`;do mv $files ../to_dir/ ; done

7.当前目录有若干UTF-8带BOM的文件,需删除这些文件中的BOM。
for files in `ls`;do sed -i 's/\xEF\xBB\xBF//g' $files ;done

8.当前目录下有若干UTF-8文件,使用file命令查看,显示“UTF-8 Unicode (with BOM) text”,找出非该类文件,并查看他们的内容。
file *|grep -v "UTF-8 Unicode (with BOM) text"|awk -F ":" '{print $1}'|xargs cat

9.当前目录下有一批UTF16BE的文件,需转换成UTF-8,转换完成后需将新文件保存到上层目录to_dir中。
for files in `ls`; do iconv -f UTF16BE -t UTF-8  -o ../to_dir/$files $files;done

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/12425.html