1.awk 中使用外部shell变量

#! /bin/bash

sort -n /root/1.txt |awk -F ':' '{print $1}'|uniq >id.txt

for id in `cat id.txt`; do

echo "[$id]"

awk -v id2=$id -F ':' '$1==id2 {print $2}' /root/1.txt

done

2.awk 合并一个文件

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt

NR表示读取的行数，FNR表示读取的当前行数

所以其实NR==FNR 就表示读取2.txt的时候。

同理NR>FNR表示读取1.txt的时候
数组a其实就相当于一个map

3. 把一个文件多行连接成一行

应用举例：一个文件每行都有一个数字，现在需要把每行的数字用"+"连接起来。

这里注意，最后一个是带"+"的。echo ""的作用是换行。

另外的方法是 cat a|xargs|sed 's/ /+/g'

linux下的计算器是gdb，p后面是空格

当然也可以直接用Python来计算

4. awk中gsub函数的使用

awk 'gsub(/www/,"abc")' /etc/passwd // passwd文件中把所有www替换为abc

awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd // 替换$1中的www为abc

awk 'sub(/www/,"abc")' /etc/passwd // passwd文件中把第一次出现的www替换为abc

5.awk 截取指定多个域为一行

for j in `seq 0 20`; do
        let x=100*$j
        let y=$x+1
        let z=$x+100
        for i in `seq $y $z` ; do
                awk  -v a=$i '{printf $a " "}' example.txt >>/tmp/test.txt
                echo " " >>/tmp/test.txt
        done
done

[[email protected] sbin]#cat line2.sh

#!/bin/bash

for i in `seq 1 20` ; do

awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd >>/tmp/line.txt

echo " " >>/tmp/line.txt

done

6. grep 或 egrep 或awk 过滤两个或多个关键词

grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行

egrep '123|abc' filename //用egrep同样可以实现

awk '/123|abc/' filename // awk 的实现方式

7. 用awk编写生成以下结构文件的程序

用awk编写生成以下结构文件的程序。( 最后列使用现在的时间，时间格式为YYYYMMDDHHMISS)  各列的值应如下所示，每增加一行便加1，共500万行。

1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101

#awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S"))}'

shell脚本编写实现：

1. for i in `seq 1 5000000`; do
2.     n=`echo "$i"|awk '{print length($0)}'`
3.     export m=$[10-$n]
4.     export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
5.     export j=$i
6.     p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
7.     echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
8. done

8. awk用print打印单引号

awk '{print "This is a '"'"'"$1} filename

awk -F ':' '{print "'"'"'"$1}' 1.txt

awk -F ':' 'NR<5 {print "This is '"$"'" $1}' 1.txt

解释一下：在awk中使用脱义字符\是起不到作用的，如果想打印特殊字符，只能使用'""' 这样的组合才可以。

这里自左至右为单引号 双引号 双引号 单引号其中两个单引号为一对，两个双引号为一对。想脱义$那就是'"$"' 脱义单引号那就是 '"'"'

9. 把两个文件中相同的行合并成一行

paste  filename1  filename2