shell文本处理三剑客(awk sed grep)

一.grep：文本过滤器

根据正则表达式来工作，由正则表达式或者字符及基本的文本字符所编写的过滤条件

tr 'a-z' 'A-Z' < file          ###把passwd中的小写转换为大写

^x      ###以x开头的

x$      ###以x结尾的

-v      ###反选

grep  nologin$  -v  passwd      ###显示能登陆的用户

-E   ^root|root$   ###root在开头的或者在结尾的，|或运算时扩展的要加上-E，用法和grep一样   

grep -n3 root   ###搜索root前后各3行

grep -A3 root   ###搜索root所在行的后三行

grep -B3 root   ###搜索root所在行的前三行

grep -i  root   ###忽略大小写

grep x..y       ###x和y之间有两个字符的

*       ###字符出现任意次

？      ###字符出现0到1次

+       ###字符出现1到任意次          

{n}       ###字符出现n次

{m,n}     ###字符最少出现m次最多出现n次

{0,n}     ###字符出现0到n次

{m,}      ###字符至少出现m次

(xy){n}   ###xy出现n次

grep  \<关键字\>    ##搜索关键字

二.sed：文本编辑器

用来操作纯ASCII码的文本，把当前处理的行存储在临时缓冲区，可以仅仅处理指定的行，符合条件的处理，不符合的不处理，完成后把缓冲区的内容输出到屏幕，紧接着处理下一行，直到文件结束

p   ##显示

d   ##删除

a   ##添加

c   ##替换

w   ##写入

i    ##插入

-n   ##安静模式，只有经过sed处理的那行才会显示出来

(1)p   ##显示

sed  -n  '2,6!p'  passwd    ##2行和6行不显示

(2)d   ##删除

sed  '2,6!d'  passwd     ##2到6行的不删除

(3)c   ##替换

-i    ###修改完成之后就保留在原文件里

替换httpd默认端口的脚本

(4)a   ##添加

(5)w   ##写入

sed '1r test' passwd    ##把test的内容添加到passwd文件的第二行

sed  -n '/root/='  passwd    ##把root所在行行号打印出来

(6)sed的其他用法

sed -f rule test              ###把策略写在rule文件中直接修改文加test

sed '=' passwd | sed 'N;s/\n//g'   ###给每一行标号，并且删除换行符

sed  -n  '$p'  test     ###输出最后一行

sed  -n  '1p'  test     ###输出第一行

sed  -e  '=;!G'  test   v ##-e同时执行两个策略，加行号，并且把每行分开

三.awk

awk:文本报告生成器，逐行处理文本，支持在处理第一行之前，做一些准备工作，以及在处理完后做一些总结性质的工作

BEGIN{ }：读入第一行文本之前执行，一般用来初始化操作

{ }：逐行读入进行处理

END{ }：处理完最后一行后执行，一般由来输出处理结果

awk  -F : '$7~/bash$/{print $0}' /etc/passwd        ###第7列是以bash$结尾的输出这行($0 ##表示输出此行)

awk  -F : '$7~/bash$/{print $1}' /etc/passwd        ###第7列是以bash$结尾的输出第一列，并且统计能登陆用户的个数

awk -F : 'BEGIN{i=0}/bash$/{i++;print $1}END{print i}' passwd   ###查找用户是否能登录，并输出登录用户的用户名和个数

awk 'NR>=3&&NR<=5{print}'   /etc/passwd    ##输出在第3行到第5行之间的行

awk -F : 'BEGIN{i=0}$7~/bash$/{i++;print}END{print i}' passwd   ###查找用户是否能登录，并输出登录用户的信息和个数

awk 'BEGIN{a=4;print a+2}'      ##awk也可以做运算

awk  -F : 'NR==1{print}' /etc/passwd           ###恒定输出第一行

抓取IP：

awk  -F : '{print  $1," is readlly"}'   /etc/passwd    ##添加输出的字符串 

补充：

fmt  -s  -w 10 <<EOF  ##一行只能输出10个字符，否则自动换行

tail -n  10 -f /var/log/messages        ##动态查看日志

awk  grep  sed其三者的应用丰富多样，文本处理是比较灵活的，只要符合规则，可以任意组合；面对不同的问题，写出多样的，符合实际情况的策略