Linux Shell 文本处理工具集锦(2)

-d 定义定界符 (默认为空格 多行的定界符为 \n)
-n 指定输出为多行
-I {} 指定替换字符串,这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
eg:

cat file.txt | xargs -I {} ./command.sh -p {} -1

-0:指定\0为输入定界符
eg:统计程序行数

find source_dir/ -type f -name "*.cpp" -print0 |xargs -0 wc -l sort 排序

字段说明:
-n 按数字进行排序 VS -d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序
eg:

sort -nrk 1 data.txtsort -bd data // 忽略像空格之类的前导空白字符 uniq 消除重复行

消除重复行

sort unsort.txt | uniq

统计各行在文件中出现的次数

sort unsort.txt | uniq -c

找出重复行

sort unsort.txt | uniq -d 可指定每行中需要比较的重复内容:-s 开始位置 -w 比较字符数

用tr进行转换

通用用法

echo 12345 | tr '0-9' '9876543210' //加解密转换,替换对应字符 cat text| tr '\t' ' ' //制表符转空格

tr删除字符

cat file | tr -d '0-9' // 删除所有数字

-c 求补集

cat file | tr -c '0-9' //获取文件中所有数字 cat file | tr -d -c '0-9 \n' //删除非数字数据

tr压缩字符
tr -s 压缩文本中出现的重复字符;最常用于压缩多余的空格

cat file | tr -s ' '

字符类
tr中可用各种字符类:
alnum:字母和数字
alpha:字母
digit:数字
space:空白字符
lower:小写
upper:大写
cntrl:控制(非可打印)字符
print:可打印字符
使用方法:tr [:class:] [:class:]

eg: tr '[:lower:]' '[:upper:]'

cut 按列切分文本

截取文件的第2列和第4列:

cut -f2,4 filename

去文件除第3列的所有列:

cut -f3 --complement filename

-d 指定定界符:

cat -f2 -d";" filename

cut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段

cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位(使用定界符)

eg:

cut -c1-5 file //打印第一到5个字符 cut -c-2 file //打印前2个字符

paste 按列拼接文本

将两个文本按列拼接到一起;

cat file112cat file2colinbookpaste file1 file21 colin2 book

默认的定界符是制表符,可以用-d指明定界符
paste file1 file2 -d ","
1,colin
2,book

wc 统计行和字符的工具

wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数

sed 文本替换利器

首处替换

seg 's/text/replace_text/' file //替换每一行的第一处匹配的text

全局替换

seg 's/text/replace_text/g' file

默认替换后,输出替换后的内容,如果需要直接替换原文件,使用-i:

seg -i 's/text/repalce_text/g' file

移除空白行:

sed '/^$/d' file

变量转换
已匹配的字符串通过标记&来引用.

echo this is en example | seg 's/\w+/[&]/g'$>[this] [is] [en] [example]

子串匹配标记
第一个匹配的括号内容使用标记 \1 来引用

sed 's/hello\([0-9]\)/\1/'

双引号求值
sed通常用单引号来引用;也可使用双引号,使用双引号后,双引号会对表达式求值:

sed 's/$var/HLLOE/'

当使用双引号时,我们可以在sed样式和替换字符串中指定变量;

eg:p=pattenr=replacedecho "line con a patten" | sed "s/$p/$r/g"$>line con a replaced

其它示例
字符串插入字符:将文本中每行内容(PEKSHA) 转换为 PEK/SHA

sed 's/^.\{3\}/&\//g' file

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/674b7b3b74c13af1c411567b56bcbc79.html