浅谈文本处理三剑客（grep、awk、sed）
背景介绍：
grep查找、awk分析、sed编辑。
文本处理，比如排查失败原因、求峰值，数据分析等。
简化文本处理和统计流程，敏捷开发。
数据来源：文本和标准输入。
输出结果：默认输出为标准输出，也可以重定向到文件中。
一：grep
描述:grep是一个命令行应用程序，用于搜索与正则表达式匹配的纯文本数据集。
特点:搜索工具、正则匹配、逐行处理
1）其主要参数如下：
-e 指定字符串作为查找文件内容的范本样式。
-E 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。
-f 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内 容，格式为每一列的范本样式。
-I 忽略字符大小写的差别。
-n 在显示符合范本样式的那一列之前，标示出该列的编号。
-v 反转查找。
-o 只输出文件中匹配到的部分。
2）应用如下：
数据集如下：命令：cat inputData.txt | grep "&pid=ios“
grep “&pid=ios” inputData.txt
fgrep “&pid=ios” inputData.txt
意义:上述命令都表示过滤"&pid=ios"
结果：
命令：grep --colour “&pid=ios” inputData.txt
意义：上述命令表示给"&pid=ios"加高亮，默认为红色
结果：
为了效果更加明显，如下命令后都加 | grep --colour “&pid=[^&]+” 来高亮
命令：fgrep -v “&pid=android” inputData.txt
意义：表示过滤除"&pid=android"以外的行结果:
命令：fgrep -i “&pid=ANDroid” inputData.txt
意义：表示过滤时不区分大小写
结果：
命令：fgrep -r “android” ./
意义：表示逐级遍历该目录，查找"android"
命令：grep -e “&pid=ios” -e “&pid=h5” inputData.txt
意义：查找"&pid=ios"或者"&pid=h5"的行
结果：
命令：grep “&pid=[^&]+” inputData.txt
grep -i “&pid=[a-z]+” inputData.txt
意义：用正则过滤该字符串
结果：
命令：grep -o “&pid=[^&]+” inputData.txt | sort | uniq -c
意义：-o只输出匹配的部分，sort | uniq为去重，-c计数
结果：
命令：egrep -o “&cip=([0-9]{1,3}[.]){1}” inputData.txt
egrep -o “&cip=([0-9]{1,3}[.]){3}” inputData.txt
egrep -o “&cip=([0-9]{1,3}[.]){3}[0-9]{1,3}” inputData.txt
意义：最终目的为过滤IP，如上命令逐步分解
结果：
3)比较
使用egrep命令主要是因为它比grep命令更快，功能更全。 egrep命令按原样处理通配字符，并且不需要像grep那样进行转义。 这样可以减少替换这些字符的开销，同时模式匹配使得egrep比grep或fgrep更快。
4)其他
因为grep通过返回一个状态值来说明搜索的状态，
返回0：模板搜索成功；
返回1：搜索不成功；
返回2：搜索文件不存在。
我们利用这些返回值就可进行一些自动化的文本处理工作。
心得:fgrep key ./ 等价于 ag key
二:awk
描述:专门用于文本处理的编程语言，通常用作数据提取和生成报告。
特点:编程语言、分析统计、列处理
1)执行过程:
1.执行 BEGIN{action;…} 语句块，与文件无关
-
从文件或者STDIN中读取一行，然后执行 pattern{action;…} 语句块，它逐行扫描文本内容并做相应的处理
-
当读至输入流末尾时，执行 END{action;…} 语句块
2)使用场景:
BEGIN语句块：
一个可选的语句块，比如：变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
Pattern语句块：
也是可选的。 awk读取的每一行都会执行该语句块。如果没有提供pattern语句块，则默认执行{ print }，即打印每一行。
END语句块：
一个可选语句块，比如：打印所有行的分析结果这类信息汇总都是在END语句块中完成。
3)主要应用
命令:cp -f ldd ./main | awk '{print $3}' | grep -v '(' lib_test
意义:把main依赖的库文件拷贝到lib_test目录,ldd ./main | awk ‘{print $3}’ 的意义为首先过滤出其对应的库文件.再进行拷贝
数据集:
命令:awk -F ‘h=’ '{print $2}‘ awk_data.txt
意义:以’h='为过滤符,打印第二列内容
命令:
awk -F ‘,’ ‘BEGIN{sum=0};{sum+=$3};END{print sum, sum/NR}’ awk_data.txt
awk -F ‘,’ ‘BEGIN{sum=0};{sum+=$3}; END{print "sum=“sum”,avg="sum/NR}’ awk_data.txt
意义:以逗号为分隔符,求第三列的和、平均值
结果:
命令:
awk -F ‘,’ ‘{if($3 > 2) {print $3}}’ awk_data.txt | sort -rnk1
意义:如果第三列的值大于2,则打印.并排序
结果:
命令:awk -F ‘,’ '{a[$1","$2] += $3} END{for(i in a)print i,a[i]} ’ awk_data.txt
意义:把第一列和第二列的值当作key,将对应第三列的值加和起来,并打印
结果:
三:sed编辑
描述:流编辑器是一个Unix应用程序，使用简单紧凑的命令解析和编辑文本。
特点:批量处理、正则表达、按行处理
1)主要参数:
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
r file 从file中读行。
w file 写并追加模板块到file末尾。
W file 写并追加模板块的第一行到file末尾。
2)应用
数据集:
命令:sed ‘s/w=/weight=/’ sed_data.txt
意义:替换每行第一个"w=“为"weight=”
结果:
命令:sed ‘s/w=/weight=/g’ sed_data.txt
意义:全文替换,将"w=“替换为"weight=”
结果:
命令:sed '/^w=/'d sed_data.txt
意义:删除以"w="开头的行
结果:
命令:sed ‘/^$/d’ sed_data.txt
意义:删除空行
结果:
命令:sed ‘3,$d;s/w=/weight=/’ sed_data.txt
sed -e ‘3,$d’ -e ‘s/w=/weight=/’ sed_data.txt
意义:sed可顺序执行命令,可把上一句命令行的输出作为输入.如图上为删除第三行到最后一行,并把其余的行做替换操作
结果:
命令:sed ‘/h=/r test.txt’ sed_data.txt
意义:把sed_data.txt中每一行有"h="的读入test.txt,匹配原文件内容的上一行.test.txt内容也是匹配到几次就复制几份
结果:
命令:sed ‘/h=/w test.txt’ sed_data.txt
意义:把sed_data.txt中每一行有"h="的写入test.txt,会覆盖原test.txt文件内容
结果
命令:sed ‘/^h=/a\this is a test line’ sed_data.txt
意义:在开头为"h=“的行下添加"this is a test line”
结果: