一.基本操作方法
grep 按行进行查找
vim 编辑文档, 交互式
1.1概述
是一门编程语言/数据处理引擎, Aho,Weinberger,Kernighhan.
1.2 命令格式解析
格式：awk [选项] '[条件]{指令}' 文件
其中, print 是最常用的编辑指令；若有多条编辑指令, 可用分号分隔.
Awk过滤数据时支持仅打印某一列, 如第2列、第5列等.
处理文本时, 若未指定分隔符, 则默认将空格、制表符等作为分隔符.
1.3 内值变量
1.3.1 基本操作方法
awk '{print}' 2.txt ---> 查看, 原样输出
awk '{print $1,$3}' 2.txt ---> 查看第1、3列(默认空格分割)
df -h | awk '{print $4}' ---> 打印磁盘的剩余空间
awk -Fo '{print $0}' 2.txt ---> $0始终打印全部
1.3.2 选项 -F可指定分隔符(指定的分隔符后面一定要有一个空格)
awk -Fe '{print $1,$2}' 2.txt ---> 以e分割(会删除),第1个e前是$1, 第1个e与第2个e之间是$2(包含空格), 最后一个e之后的所有东西是最后一个$,后续没有则以空格代替.
1.3.3 awk常用内置变量：
awk -Ft '{print NR,NF}' 2.txt ---> 打印出类似于" x(行) x(列)"
1.3.4 打印常量
awk -Fe '{print $1,"哈哈",$2}' 2.txt ---> 等于在原来分离出来的项的基础上, 插入一个常量项, 前面有空格
1.4 案例
1.4.1 筛选出: 7.1G
文件系统 容量 已用 可用 已用% 挂载点
/dev/vda1 10G 3.0G 7.1G 30% /
devtmpfs 906M 0 906M 0% /dev
tmpfs 921M 80K 921M 1% /dev/shm
df -h | awk '/\/$/{print $4}' 或者
df -h | awk '/^\//{print $4}' (遇到 / 要采用反斜杠转义 \/)
1.4.2 提取本机的网络流量
[root@svr5 ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.4.21 netmask 255.255.255.0 broadcast 192.168.4.255
inet6 fe80::fa64:c143:ad6a:5159 prefixlen 64 scopeid 0x20<link>
ether 52:54:00:b3:11:11 txqueuelen 1000 (Ethernet)
RX packets 313982 bytes 319665556 (304.8 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 51809 bytes 40788621 (38.8 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ifconfig eth0 | awk '/RX p/{print $5}' //过滤接收数据的流量
ifconfig eth0 | awk '/TX p/{print $5}' //过滤发送数据的流量
1.4.3 查看/var/secure日志, 查看谁登陆成功, 谁登陆失败
Dec 11 14:18:39 room9pc01 sshd[10995]: Accepted password for root from 176.233.6.123 port 59384 ssh2
Dec 14 11:34:50 room9pc01 sshd[6772]: Failed password for root from 176.233.6.40 port 45378 ssh2
awk '/Failed/{print $11}' secure ---> 查看谁登陆失败
awk '/Acc/{print $0}' secure ---> 查看谁登陆成功
1.5 awk处理的时机
awk会逐行处理文本, 支持在处理第一行之前做一些准备工作, 以及在处理完最后一行之后做一些总结性质的工作.在命令格式上分别体现如下：
awk [选项] '[条件]{指令}' 文件
awk [选项] ' BEGIN{指令} {指令} END{指令}' 文件
BEGIN{ } 行前处理, 读取文件内容前执行, 指令执行1次
{ } 逐行处理, 读取文件过程中执行, 指令执行n次
END{ } 行后处理, 读取文件结束后执行, 指令执行1次
案例：
awk 'BEGIN{A=24;print A*2}' ---> 48
awk 'BEGIN{print x+1}' ---> 1 (x可以不定义, 直接用, 默认值位0)
awk 'BEGIN{print 1.5+2.5}' ---> 4
实例1：举个例子(统计系统中使用bash作为登录Shell的用户总个数)：
a.预处理时赋值变量x=0
b.然后逐行读入/etc/passwd文件, 如果发现登录Shell是/bin/bash则x加1
c.全部处理完毕后, 输出x的值即可.
awk 'BEGIN{x=0}/bash$/{x++}END{print x}' /etc/passwd (END前面可以是空行, 也可以没有)
实例2：统计文件行数
awk 'BEGIN{print NR}END{print NR}' 2.txt 0
二.awk处理条件
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
案例1：列出/etc/passwd中以ro开头的用户记录(整行)
awk '/^ro/{print}' /etc/passwd
案例2：找出不以bash结尾的记录的用户名
awk -F: '$7!~/{bash$}/{print "用户有",$1,"是否登陆标示",$7}' /etc/passwd
案例3：找出不以nologin结尾的记录的用户名
awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
案例4：找出root和adm开头的用户记录
awk -F: '/^(root|adm)/{print}' /etc/passwd
2.2 使用数值/字符串比较设置条件
比较符号：==(等于) !=(不等于) >(大于)
>=(大于等于) <(小于) <=(小于等于)
案例:
awk 'NR==2{print}' 2.txt ---> 输出第二行
awk '$2!="XX"{print}' 2.txt ---> 输出第二列不是XX的所有行
awk 'NF>=2{print}' 2.txt ---> 输出列数大于等于2的行
lisi:x:1002:1002::/home/lisi:/bin/bash
awk -F: '$3>=1000{print $1,$3}' /etc/passwd ---> 列出UID大于1000的用户
awk -F: '$1=="root"' /etc/passwd ---> 输出用户名时root的行
逻辑测试条件
awk -F: '$3>10 && $3<20' /etc/passwd ---> 输出UID大于10小于20的行
awk -F: '$3>1000 || $3<10' /etc/passwd ---> UID大于1000或小于10
数学运算 + - * / % ++ —— += -= *= /=
awk 'NR%2==1{print}' 1.txt ---> 输出奇数行
awk 'BEGIN{x++;print x}' ---> 初始值为0, 自加1, 输出
awk 'BEGIN{x=8;x+=2;print x}' ---> 10
awk 'BEGIN{print 23%8}' ---> 7
seq 200 | awk 'BEGIN{i=0}($0%3==0)&&($o%13==0){i++} END{print i}' -->能被3和13整除
awk '/^(192|127)/' /etc/hosts ---> 输出127或者192开头的记录
seq 100 | awk '$i%7==0||$i~/7/' ---> 7的倍数或包含7的数
awk -F: '{print tolower($1)}' /etc/passwd --->大写转小写(toupper 大写)
awk -F: '{print length($1)}' /etc/passwd --->求每行长度
三.综合脚本应用
要求：找到使用bash作登录Shell的本地用户, 列出这些用户的shadow密码记录,按每行"用户名 -- 密码记录"保存结果
A=$(awk -F: '/bash$/{print $1}' /etc/passwd)
for i in $A
do
grep $i /etc/shadow | awk -F: '{print $1,"--->",$2}'
done
四.流程控制
4.1 单分支
统计/etc/passwd文件中UID小于或等于1000的用户个数：
awk -F: '{if($3<=1000){i++}}END{print i}' /etc/passwd
统计/etc/passwd文件中登录Shell是"/bin/bash"的用户个数:
awk -F: '{if($7~/bash$/){i++}}END{print i}' /etc/passwd
4.2 双分支
分别统计/etc/passwd文件中UID小于或等于1000、UID大于1000的用户个数：
awk -F: '{if($3<=1000){i++}else{j++}}END{print i,j}' /etc/passwd
分别统计/etc/passwd文件中登录Shell是"/bin/bash"、 登录Shell不是"/bin/bash"的用户个数：
awk -F: '{if($7~/bash$/){i++}else{j++}} END{print i,j}' /etc/passwd
4.3 数组
4.3.1 数组的语法格式
数组是一个可以存储多个值的变量, 具体使用的格式如下：
定义数组的格式：数组名[下标]=元素值
调用数组的格式：数组名[下标]
遍历数组的用法：for(变量 in 数组名){print 数组名[变量]}.
awk 'BEGIN{a[0]=11;a[1]=88;print a[1],a[0]}' ---> 赋值数组并输出
awk 'BEGIN{a[0]++;print a[0]}' ---> 首项默认0, 自加为1
awk 'BEGIN{a[0]=0;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}'
0 0 rem:for (in i in a) 指的是下标
1 11 rem:i时下标号
2 22 rem:a 默认时下标
awk 'BEGIN{a["hehe"]=11;print a["hehe"]}' ---> 下标是字符串