linux三剑客之awk
适用范围：awk主要是用来格式化文本。
1、awk的语法
语法格式：awk [参数] [处理规则] [操作对象]
2、参数
| 参数 |
作用 |
| -F |
指定文本分隔符（不写默认是以空格作为分隔符） |
3、awk的生命周期
grep、sed和awk都是读一行处理一行，直至处理完成。1、接收一行作为输入2、把刚刚读入进来得到文本进行分解3、使用处理规则处理文本4、输出一行，赋值给$0，直至处理完成5、把处理完成之后的所有的数据交给END{}来再次处理
4、awk中的预定义变量
| 变量 |
作用 |
| $0 |
代表当前行 |
| $n |
代表第n列 |
| NF |
代指当前行的总字段数 |
| NR |
代指行号 |
| FS |
指定文本内容分隔符,优先级要高于 -F，默认是空格 |
| OFS |
指定打印的分隔符，是自定义的分隔符，默认是空格 |
# NF（代指数字，每行被分割后的总字段数）[root@zonghan ~]# cat 8.txtasfsdgs asdsad asdasdsasdfsdfas sadasdsad aSD asdasd asdsad sadasdasdasdasdas sadsadasdasdasd asdsadssfgsad sadsa[root@zonghan ~]# awk '{print NF}' 8.txt 32231230[root@zonghan ~]# awk '{print $NF}' 8.txt asdasdsasadasdsadasdsadasdasdsadsadasdsadsa # $NF就是变相于打印NF所代表的列，又因为NF是总字段数，所以是打印最后一列# $0（代指代表当前行）[root@zonghan ~]# awk -F: '{print $0, "---"}' 8.txt asfsdgs asdsad asdasdsa ---sdfsdfas sadasdsad ---aSD asd ---asd asdsad sad ---asdasd ---asdasdas sadsadasd ---asdasd asdsadssfgsad sadsa --- --- # 由此可以得出$0是代指的每一行的内容 # $n (代表第n列)[root@zonghan ~]# awk '{print $1}' 8.txt asfsdgssdfsdfasaSDasdasdasdasdasdasasdasd # 打印的是第1列[root@zonghan ~]# awk '{print $2}' 8.txt asdsadsadasdsadasdasdsad # 这里因为文本没第二列 所以为空sadsadasdasdsadssfgsad # 打印的是第2列# NR(代指行号)[root@zonghan ~]# awk '{print NR}' 8.txt 12345678# FS(指定文本内容分隔符,优先级要高于 -F，默认是空格)[root@zonghan ~]# cat /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin[root@zonghan ~]# awk -F: 'BEGIN{FS="x"}{print $NF}' /etc/passwd:0:0:root:/root:/bin/bash:1:1:bin:/bin:/sbin/nologin:2:2:daemon:/sbin:/sbin/nologin # 这里可以看出是以x分割而不是以-F的:分割的，所以优先级高于-F# 0FS(指定打印的分隔符，自定义的分隔符，默认是空格)[root@zonghan ~]# awk -F: 'BEGIN{OFS=">>>"}{print $1, $NF}' /etc/passwdroot>>>/bin/bashbin>>>/sbin/nologindaemon>>>/sbin/nologin
5、awk处理规则的执行流程
# 至少1个，最多4个 按以下顺序BEGIN{} # 括号里面内容会在awk读取文件之前执行// # 正则表达式{} # 循环END{} # 括号里面内容会在awk读取文件之后执行
6、awk中的函数
| 函数名 |
作用 |
| print |
打印 |
| printf |
格式化打印 |
| %s |
字符串 |
| %d |
数字 |
| - |
左对齐 |
| + |
右对齐 |
| 15 |
至少占用15字符 |
# 格式化打印[root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%s|%s|\n", $1, $NF}' /etc/passwd|root|/bin/bash||bin|/sbin/nologin||daemon|/sbin/nologin|[root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%-15s|%s|\n", $1, $NF}' /etc/passwd|root |/bin/bash||bin |/sbin/nologin||daemon |/sbin/nologin|[root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%-15s|%-15s|\n", $1, $NF}' /etc/passwd|root |/bin/bash ||bin |/sbin/nologin ||daemon |/sbin/nologin |[root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%+15s|%+15s|\n", $1, $NF}' /etc/passwd| root| /bin/bash|| bin| /sbin/nologin|| daemon| /sbin/nologin|[root@zonghan ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%+15s|%-15s|\n", $1, $NF}' /etc/passwd| root|/bin/bash || bin|/sbin/nologin || daemon|/sbin/nologin |
7、awk中的定位
1、正则表达式
# 打印出包含root的所有行[root@zonghan ~]# awk -F: '/root/{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologin# 打印以root开头的所有行[root@zonghan ~]# awk -F: '/^root/{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bash
2、比较表达式(作用的是文本内的内容)
| 符号 |
作用 |
| > |
筛选大于的数据 |
| >= |
筛选大于等于的数据 |
| < |
筛选小于的数据 |
| <= |
筛选小于等于的数据 |
| ~ |
包含(和正则连用) |
| !~ |
不包含(和正则连用) |
# 打印第四列比第三列数值大的所有行信息[root@zonghan ~]# awk -F: '$4>$3{print $0}' /etc/passwdadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin# 结尾包含bash的行[root@zonghan ~]# awk -F: '$NF ~ /bash/{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashhaha:x:1000:1000::/home/haha:/bin/bashtest1:x:1001:1000::/home/test1:/bin/bash# 结尾不包含bash的行[root@zonghan ~]# awk -F: '$NF !~ /bash/{print $0}' /etc/passwdbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
3、逻辑表达式
| 符号 |
作用 |
| && |
逻辑与 |
| | | |
逻辑或 |
| ! |
逻辑非 |
# 打印第3列和第4列既要相加大于2000又要相乘大于2000的所有行[root@zonghan ~]# awk -F: '$3+$4>2000 && $3*$4>2000{print $0}' /etc/passwdtest1:x:1001:1000::/home/test1:/bin/bashtest2:x:1002:1000::/home/test2:/bin/bashdata:x:2000:2000::/home/data:/bin/bashaaa:x:2001:2001::/home/aaa:/bin/bashbbb:x:2002:2001::/home/bbb:/bin/bashddd:x:2003:1000::/home/ddd:/bin/basheee:x:1999:1999::/home/eee:/bin/bashfff:x:1500:1500::/home/fff:/bin/bash# 打印第3列和第4列相加大于2000或者相乘大于2000的所有行[root@zonghan ~]# awk -F: '$3+$4>2000 || $3*$4>2000{print $0}' /etc/passwddaemon:/dev/null:/sbin/nologinabrt:x:173:173::/etc/abrt:/sbin/nologinsshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologinpostfix:x:89:89::/var/spool/postfix:/sbin/nologinhaha:x:1000:1000::/home/haha:/bin/bashtest1:x:1001:1000::/home/test1:/bin/bashtest2:x:1002:1000::/home/test2:/bin/bashdata:x:2000:2000::/home/data:/bin/bashaaa:x:2001:2001::/home/aaa:/bin/bashbbb:x:2002:2001::/home/bbb:/bin/bashddd:x:2003:1000::/home/ddd:/bin/basheee:x:1999:1999::/home/eee:/bin/bashfff:x:1500:1500::/home/fff:/bin/bash# 打印第3列和第4列相加不大于2000或者相乘不大于2000的所有行[root@zonghan ~]# awk -F: '!($3+$4>2000 || $3*$4>2000){print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
4、算术表达式
| 符号 |
作用 |
| + |
加 |
| - |
减 |
| * |
乘 |
| / |
除 |
| == |
等于 |
| % |
余 |
# 打印第3列加第4列数值大于3000(属主+属组>3000)的行[root@zonghan ~]# awk -F: '$3+$4>3000{print $0}' /etc/passwddata:x:2000:2000::/home/data:/bin/bashaaa:x:2001:2001::/home/aaa:/bin/bashbbb:x:2002:2001::/home/bbb:/bin/bashddd:x:2003:1000::/home/ddd:/bin/basheee:x:1999:1999::/home/eee:/bin/bash# 打印第3列乘第4列数值大于50(属主+属组>3000)的行[root@zonghan ~]# awk -F: '$3*$4<50{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bin/sync# 打印所有奇数行[root@zonghan ~]# awk -F: 'NR%2==1{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashdaemon:x:2:2:daemon:/sbin:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownmail:x:8:12:mail:/var/spool/mail:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinnobody:x:99:99:Nobody:/:/sbin/nologindbus:x:81:81:System message bus:/:/sbin/nologin
5、条件表达式(作用的是文本外的内容)
| 符号 |
限制条件 |
| == |
相等 |
| > |
大于 |
| >= |
大于等于 |
| < |
小于 |
| <= |
小于等于 |
# 打印第3行的内容[root@zonghan ~]# awk -F: 'NR==3{print $0}' /etc/passwddaemon:x:2:2:daemon:/sbin:/sbin/nologin# 打印前4行的的内容[root@zonghan ~]# awk -F: 'NR<=4{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin
6、范围表达式
# 打印出以root开头的行到以ftp开头的行[root@zonghan ~]# awk -F: '/^root/,/^ftp/{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
8、流程控制
特别注意：只存在循环{ }之中
| 符号 |
用法 |
| if |
判断 |
| for |
循环 |
| while |
循环 |
if用法
语法:
{ if ( ) { } }
{ if ( ) { } else { } }
{ if ( ) { } else if ( ) { } else { } }
# 判断第3行与第4行数值的大小，输出比较结果[root@zonghan ~]# awk -F: '{if($3>$4){print "大于"} else {print "小于等于"}' /etc/passwd小于等于小于等于小于等于小于等于小于等于大于大于
for用法
语法：
{ for (i=初始值; 条件判断; 游标) { } }
# 每行打印3次[root@zonghan ~]# awk -F: '{for(i=0;i<3;i++1){print $0}}' /etc/passwdroot:x:0:0:root:/root:/bin/bashroot:x:0:0:root:/root:/bin/bashroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin...
while用法
语法 :
{ i=初始值 ; while(条件判断) { } }
# 每行打印3次[root@zonghan ~]# awk -F: '{i=0;while(i<3){i++;print $0}}' /etc/passwdroot:x:0:0:root:/root:/bin/bashroot:x:0:0:root:/root:/bin/bashroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin...# 如果想打印i数字的变化，可以在print里加上i++[root@zonghan ~]# awk -F: '{i=0;while(i<3){print $0, i++}}' /etc/passwdroot:x:0:0:root:/root:/bin/bash 0root:x:0:0:root:/root:/bin/bash 1root:x:0:0:root:/root:/bin/bash 2bin:x:1:1:bin:/bin:/sbin/nologin 0bin:x:1:1:bin:/bin:/sbin/nologin 1bin:x:1:1:bin:/bin:/sbin/nologin 2daemon:x:2:2:daemon:/sbin:/sbin/nologin 0daemon:x:2:2:daemon:/sbin:/sbin/nologin 1daemon:x:2:2:daemon:/sbin:/sbin/nologin 2...
经验首页