@如何截取需要的日志?--sed@

本文详细介绍了SED编辑器的基本概念、常用命令及其应用场景。SED作为一种强大的文本处理工具,适用于自动化编辑文件、简化重复操作及编写转换程序等工作。文章通过具体实例演示了如何使用SED进行行删除、替换、读取和写入等操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      小知识,大用处

今天在帮同事拉日志的时候,突然发现需要的日志太大了,然后就想着sed,然后按照要求拉取2011.07.25的日志,命令如下:

sed -n '/2011.07.25/,$p' FO_GROUP~APP_OC4J~FO_GROUP~1.log > FO_GROUP~APP_OC4J~FO_GROUP~1-as31.log

 

sed -i '/memcache/i\\= ' test.log 【i\表示插入文本,但显示的是插入匹配行的前面,之所以有两个\,是因为其中一个是转义字符。

sed -i '/memcache/i\\= ' test.log 【a\表示在文本,但显示的是插入匹配行的后面】

 sed '/myip/r a.txt' test.log 

假如要是在指定的行替换:1,20s/old/new/g

下面我们对sed进行一个汇总

总结:

1. Sed简介

sed是一种在线编辑器它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。以下介绍的是Gnu版本的Sed 3.02。

2. 定址

可以通过定址来定位你所希望编辑的行,该地址用数字构成,用逗号分隔的两个行数表示以这两行为起止的行的范围(包括行数表示的那两行)。如1,3表示1,2,3行,美元符号($)表示最后一行。范围可以通过数据,正则表达式或者二者结合的方式确定 。

3. Sed命令

调用sed命令有两种形式:

  • sed [options] 'command' file(s)

  • sed [options] -f scriptfile file(s)

a\

在当前行后面加入一行文本

b lable

分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。

c\

用新的文本改变本行的文本。

d

从模板块(Pattern space)位置删除行。

D

删除模板块的第一行。

i\

在当前行上面插入文本。

h

拷贝模板块的内容到内存中的缓冲区。

H

追加模板块的内容到内存中的缓冲区

g

获得内存缓冲区的内容,并替代当前模板块中的文本。

G

获得内存缓冲区的内容,并追加到当前模板块文本的后面。

l

列表不能打印字符的清单。

n

读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。

N

追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。

p

打印模板块的行。

P(大写)

打印模板块的第一行。

q

退出Sed。

r file

从file中读行。

t label

if分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。

T label

错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。

w file

写并追加模板块到file末尾。

W file

写并追加模板块的第一行到file末尾。

!

表示后面的命令对所有没有被选定的行发生作用。

s/re/string

用string替换正则表达式re。

=

打印当前行号码。

#

把注释扩展到下一个换行符以前。

以下的是替换标记
  • g表示行内全面替换。

  • p表示打印行。

  • w表示把行写入一个文件。

  • x表示互换模板块中的文本和缓冲区中的文本。

  • y表示把一个字符翻译为另外的字符(但是不用于正则表达式)

4. 选项



-r  sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-e command, --expression=command

允许多台编辑。

-h, --help

打印帮助,并显示bug列表的地址。

-n, --quiet, --silent         使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的数据一般都会被列出到萤幕上。         但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。-f, --filer=script-file

引导sed脚本文件名。

-V, --version

打印版本和版权信息。

5. 元字符集

^

锚定行的开始 如:/^sed/匹配所有以sed开头的行。

$

锚定行的结束 如:/sed$/匹配所有以sed结尾的行。

.

匹配一个非换行符的字符 如:/s.d/匹配s后接一个任意字符,然后是d。

*

匹配零或多个字符 如:/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。

[]

匹配一个指定范围内的字符,如/[Ss]ed/匹配sed和Sed。

[^]

匹配一个不在指定范围内的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头,紧跟ed的行。

\(..\)

保存匹配的字符,如s/\(love\)able/\1rs,loveable被替换成lovers

下面来看一个例子:

[root@sor-sys ~]# echo "/usr/local/tomcat/tomcat-test/webapps/" | sed -e 's#.*/\(.*\)\/webapps.*#\1#'
tomcat-test

其实完全可以这样写:

[root@sor-sys ~]# echo "/usr/local/tomcat/tomcat-test/webapps/"| sed -e 's#.*/\(.*\)/webapps/#\1#'【因为这里的分隔符不是/,所以对/无需转义】
tomcat-test

&

保存搜索字符用来替换其他字符,如s/love/**&**/,love这成**love**

\<

锚定单词的开始,如:/\<love/匹配包含以love开头的单词的行。

\>

锚定单词的结束,如/love\>/匹配包含以love结尾的单词的行。

x\{m\}

重复字符x,m次,如:/0\{5\}/匹配包含5个o的行。

x\{m,\}

重复字符x,至少m次,如:/o\{5,\}/匹配至少有5个o的行。

x\{m,n\}

重复字符x,至少m次,不多于n次,如:/o\{5,10\}/匹配5--10个o的行。

6. 实例

删除:d命令
  • $ sed '2d' example-----删除example文件的第二行。

  • $ sed '2,$d' example-----删除example文件的第二行到末尾所有行。

  • $ sed '$d' example-----删除example文件的最后一行

  • $ sed '/test/'d example-----删除example文件所有包含test的行

替换:s命令
  • $ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest

  • $ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。

  • $ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加localhost,变成192.168.0.1localhost

  • $ sed -n 's/\(love\)able/\1rs/p' example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。

  • $ sed 's#10#100#g' example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。

选定行的范围:逗号
  • $ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印

  • $ sed -n '5,/^test/p' example-----打印从第五行开始第一个包含以test开始的行之间的所有行。

  • $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换

多点编辑:e命令
  • $ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

  • $ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。

从文件读入:r命令
  • $ sed '/test/r file' example-----file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。

写入文件:w命令
  • $ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。

追加命令:a命令
  • $ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠

插入:i命令

$ sed '/test/i\\

new line

-------------------------' example

如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面

下一个:n命令
  • $ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。

变形:y命令
  • $ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令

退出:q命令
  • $ sed '10q' example-----打印完第10行后,退出sed。

保持和获取:h命令和G命令
  • $ sed -e '/test/h' -e '$G example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。

保持和互换:h命令和x命令
  • $ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

7. 脚本

Sed脚本是一个sed的命令清单,启动Sed时以-f选项引导脚本文件名。Sed对于脚本中输入的命令非常挑剔,在命令的末尾不能有任何空白或文本,如果在一行中有多个命令,要用分号分隔。以#开头的行为注释行,且不能跨行。

8. 小技巧

  • 在sed的命令行中引用shell变量时要使用双引号,而不是通常所用的单引号。下面是一个根据name变量的内容来删除named.conf文件中zone段的脚本:

     

    name='zone\ "localhost"' sed "/$name/,/};/d" named.conf

最后我们来看个替换的例子:

[root@sor-sys config]# echo '/opt/oracle/product/10.1.3.1/OracleAS/j2ee/GATEWAY_OC4J/config'
/opt/oracle/product/10.1.3.1/OracleAS/j2ee/GATEWAY_OC4J/config

[root@sor-sys config]# echo '/opt/oracle/product/10.1.3.1/OracleAS/j2ee/GATEWAY_OC4J/config'| sed 's#.*j2ee/\(.*\)/.*#\1#'
GATEWAY_OC4J





<think>好的,我需要解决用户的问题:如何从包含'UserInfo{'的行中提取第二行,并用sed、grep和cut命令截取特定字段。首先,我应该分步骤处理这个问题。 首先,用户想用grep搜索包含'UserInfo{'的行。这可能涉及到文件中的某个日志或文本,其中UserInfo结构可能出现多行。但grep默认是逐行处理,所以如果UserInfo{跨越多行,可能需要使用多行匹配。但用户可能指的是单行包含'UserInfo{'的情况,所以先用grep 'UserInfo{' filename来找到这些行。 接下来,用户提到要提取第二行。这里可能需要明确,是提取匹配行的下一行,还是匹配行本身是某段内容的第二行?或者,可能UserInfo{所在的行后面跟着多行数据,用户需要其中的第二行。比如,假设UserInfo{出现在某一行,接下来的几行是该结构的内容,用户需要第二行。这时候可能需要结合grep的上下文选项,例如-A参数来获取匹配行之后的第二行。例如,grep -A2 'UserInfo{' filename | sed -n '2p',这样获取匹配行后的第二行。 然后,用sed提取第二行。可能需要管道传递,例如grep的结果通过sed处理,比如sed -n '/UserInfo{/{n;p}',这样当找到UserInfo{行时,打印下一行(n命令移动到下一行,然后p打印)。这可能更高效,因为不需要使用-A参数,而是直接处理每一行的下一行。 接下来,用cut命令按分隔符'{'和':'截取特定字段。但cut默认只能处理单个字符的分隔符,这里可能需要多次处理。例如,先使用'{'分割,再在结果中用':'分割。或者,可以使用awk来处理多个分隔符,因为awk支持正则表达式分隔符。例如,使用-F'[{:}]'来指定分隔符为{或:,然后选择对应的字段。 不过用户明确要求使用cut,所以可能需要分步骤处理。例如,先用cut -d '{' -f2来获取第一个分割后的第二部分,然后再用cut -d ':' -f1来进一步分割。或者,结合tr将多个分隔符替换为单一的分隔符,再用cut处理。 例如,假设第二行的内容是某个字段,比如"name:John{Doe", 想要提取John部分。可能需要先分割{,再分割:。但具体的字段位置需要看实际数据的结构。用户可能需要根据实际情况调整cut的字段编号。 同时,参考用户提供的引用中的例子,如引用[2]中使用grep -o和正则表达式提取IP地址,可能可以考虑使用正则表达式直接提取所需部分,而不是多次使用cut。例如,结合sed或grep -o来匹配特定模式。 另外,用户提到的引用[3]中的awk用法,可能可以考虑用awk来处理多分隔符的情况,但用户要求使用sed、grep和cut,所以可能需要组合这些命令。 总结步骤: 1. 使用grep找到包含UserInfo{的行,并获取其后的第二行。或者,如果UserInfo{所在块中,第二行是指该块中的第二行,可能需要处理多行的情况。 假设UserInfo{所在行是块的开头,后面的行是相关字段,例如: UserInfo{ id:123, name:abc, } 那么第二行可能是"id:123,",需要提取其中的字段。但用户可能需要从第二行中提取某个部分,如id的值。 2. 使用sed提取第二行。例如,grep找到UserInfo{的行,然后使用sed处理接下来的行。或者,使用sed的范围处理,例如匹配到UserInfo{后,读取下一行,然后处理。 例如: sed -n '/UserInfo{/{n;n;p}' filename 这里,n命令执行两次,移动到下下个行,即第二行,然后打印。这可能适用于当需要UserInfo{行后的第二行。 3. 使用cut命令按{和:分割。例如,假设第二行是" name:John{Doe", 要提取John,可能需要先分割:得到第二部分,即John{Doe,然后再用{分割得到John。 例如: ... | cut -d ':' -f2 | cut -d '{' -f1 这样会得到John。 或者,使用sed替换将{和:替换为统一的分隔符,再用cut处理: ... | sed 's/[{:]/ /g' | cut -d ' ' -f2 但这可能依赖于字段的位置。 可能的完整命令链: grep 'UserInfo{' filename | sed -n '/UserInfo{/{n;n;p}' | cut -d ':' -f2 | cut -d '{' -f1 但需要根据实际数据调整步骤和分隔符的位置。 另外,用户可能需要处理可能存在的空格或其他字符,所以可能需要用tr去除空格,或者使用awk的gsub函数处理。 不过,用户明确要求使用grep、sed、cut,所以需要组合这些命令。 最终可能的解决方案是: 使用grep找到UserInfo{的行,然后使用sed提取第二行,再通过cut处理分隔符。 例如: grep -A2 'UserInfo{' filename | sed -n '2p' | cut -d ':' -f2 | cut -d '{' -f1 这里,-A2让grep显示匹配行及其后两行,然后sed -n '2p'取第二行(即匹配行的下一行),再用两次cut处理字段。 或者,如果第二行是UserInfo{结构中的第二个字段行,可能需要不同的处理方式。 需要根据实际的数据结构来调整命令,但用户可能希望一个通用的方法。因此,正确的步骤可能是: 1. 使用grep查找包含UserInfo{的行,并输出该行及之后的两行:grep -A2 'UserInfo{' file 2. 使用sed提取第二行:sed -n '2p' 3. 使用cut分割,先按'{'分割,再按':'分割:例如,假设第二行的内容为" key:value{more",那么: echo " key:value{more" | cut -d ':' -f2 | cut -d '{' -f1 输出value 所以整个命令链: grep -A2 'UserInfo{' filename | sed -n '2p' | cut -d ':' -f2 | cut -d '{' -f1 这应该可以提取所需的字段。 另外,用户提到的引用[2]中的例子使用了grep -o来精确匹配,可能可以结合正则表达式来更精确地提取内容,例如: sed -n '/UserInfo{/{n;n;p}' filename | grep -oP ': *\K[^{:]+' 这里,grep -oP使用Perl正则表达式,匹配:后面的空格,然后使用\K丢弃之前的内容,提取非{或:的字符,直到遇到{或:。 但用户可能需要使用基础的正则表达式,因此,使用cut可能更简单。 综上,最终的解决方案可能如下: 使用grep查找包含UserInfo{的行及其后两行,提取第二行,然后通过两次cut分割得到所需字段。 需要验证各个步骤是否正确,例如,当使用grep -A2时,输出的行数是否包括匹配行本身,然后第二行是否为匹配行后的第一行。例如,-A2会输出匹配行和接下来的两行,总共三行。因此,第一行是匹配行,第二行是下一行,第三行是再下一行。因此,如果用户需要的是匹配行后的第二行,那么应该取第三行,但用户的问题描述中是“提取第2行”,可能需要明确这里的第2行是相对于匹配行后的行数。例如,用户可能想要匹配行后的第二行,也就是整个输出的第三行。但原问题描述可能存在歧义,需要进一步确认。 如果用户的问题是需要从包含UserInfo{的行中提取该行的下一行(即第二行),那么正确的步骤是: grep -A1 'UserInfo{' filename | sed -n '2p' 然后处理这一行。 或者,使用sed的范围处理: sed -n '/UserInfo{/{n;p}' filename 这会找到包含UserInfo{的行,然后打印下一行(n;p)。 假设用户需要的是该行的下一行,那么: sed -n '/UserInfo{/{n;p}' filename | cut -d ':' -f2 | cut -d '{' -f1 这可能更高效,因为不需要grep和多个处理步骤。 综合来看,正确的命令链可能是: sed -n '/UserInfo{/{n;p}' filename | cut -d ':' -f2 | cut -d '{' -f1 这样,首先用sed找到UserInfo{行,然后取其下一行,再用两次cut分割字段。 例如,假设下一行的内容是“name:John{Doe”,那么第一次cut -d ':' -f2得到John{Doe,第二次cut -d '{' -f1得到John。 因此,最终的命令应该可以正确提取所需字段。</think>要提取包含$UserInfo\{$的行并处理后续字段,可以分步骤使用以下命令组合: 1. **搜索目标行并提取第二行** ```bash grep 'UserInfo{' filename | sed -n '/UserInfo{/{n;p}' ``` 此命令先用$grep$定位包含$UserInfo\{$的行,再通过$sed$的$n;p$指令输出下一行[^1]。 2. **截取特定字段** ```bash cut -d ':' -f2 | cut -d '{' -f1 ``` 通过两次$cut$操作:先用冒号$:$分割取第二部分,再用左花括号$\{$分割取第一部分。例如字段$name:value{data$会返回$value$[^2]。 **完整命令链示例** ```bash sed -n '/UserInfo{/{n;p}' filename | cut -d ':' -f2 | cut -d '{' -f1 ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值