如何在Linux中使用awk命令

高洛峰
高洛峰 原创
2016-12-15 11:03:05 1309浏览

文本处理是Unix的核心。从管道到/proc子系统,“一切都是文件”的理念贯穿于操作系统和所有基于它构造的工具。正因为如此,轻松地处理文本是一个期望成为Linux系统管理员甚至是资深用户的最重要的技能之一,而 awk是通用编程语言之外最强大的文本处理工具之一。

最简单的awk的任务是从标准输入中选择字段;如果你对awk除了这个用途之外,从来没了解过它的其他用途,你会发现它还是会是你身边一个非常有用的工具。

默认情况下,awk通过空格分隔输入。如果您想选择输入的第一个字段,你只需要告诉awk输出$ 1:

$ echo 'one two three four' | awk '{print $1}'

awk命令

(是的,大括号语法是有点古怪,但我保证这是我们这节课一直会遇到。)

你能猜出如何选择第二,第三或第四个字段么?是的,分别用$2,$ 3,$ 4。

$ echo 'one two three four' | awk '{print $3}'

awk命令

通常在文本改写时,你需要创建一个特定的数据格式,并且它覆盖不止一个单词。好消息是,awk中可以很容易地打印多个字段,甚至包含静态字符串:

 $ echo 'one two three four' | awk '{print $3,$1}'

awk命令

$ echo 'one two three four' | awk '{print "foo:",$3,"| bar:",$1}'

awk命令

好吧,如果你的输入不是由空格分隔怎么办?只需用awk中的'-F'标志指定你的分隔符:

$ echo 'one mississippi,two mississippi,three mississippi,four mississippi' | awk -F , '{print $4}'

awk命令

偶尔间,你会发现自己正在处理字段数量不同的数据,但你只知道你想要的最后字段。 awk中内置的$NF变量代表字段的数量,这样你就可以用它来抓取最后一个元素:

$ echo 'one two three four' | awk '{print $NF}'

awk命令

你也可以用$NF做简单的数学,假如你需要倒数第二个字段:

$ echo 'one two three four' | awk '{print $(NF-1)}'

awk命令

甚至是中间的字段:

$ echo 'one two three four' | awk '{print $((NF/2)+1)}'

awk命令

而且这一切都非常有用,同样你可以摆脱强制使用sed,cut,和grep来得到这些结果(尽管要做更多的操作)。

因此,我将最后为你介绍awk的一个特性,维持跨行状态。

 $ echo -e 'one 1\ntwo 2' | awk '{print $2}'

awk命令

$ echo -e 'one 1\ntwo 2' | awk '{sum+=$2} END {print sum}'

awk命令

(END代表的是我们在执行完每行的处理之后只处理下面的代码块)

这里我使用的例子是统计web服务器请求日志的字节大小。想象一下我们有如下这样的日志:

$ cat requests.log

awk命令

我们知道最后一个字段是响应的字节大小。我们已经学习了如何使用$NF来抽取他们:

$ < requests.log awk '{print $NF}'

awk命令

接着我们可以将它们累加到一个变量中来收集我们的web服务其在日志中这段时间内的响应客户端的字节数量

$ < requests.log awk '{totalBytes+=$NF} END {print totalBytes}'

awk命令



更多如何在Linux中使用awk命令相关文章请关注PHP中文网!


声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。