Linux日志查看技巧

1.less + grep/zgrep

常见的日志查看有more，vim，cat，less，其中less是部分加载，适合大日志文件查看

 less -N +102g test.log  --N是显示行号的参数。

参数

"less -e" 当文件显示结束后，自动离开，无需输入"q"
"less -f" 强迫打开特殊文件，例如外围设备代号、目录和二进制文件
"less -m" 显示类似more命令的百分比
"less -N" 显示每行的行号
"less -s" 将连续的空行合并成一行显示
"less -S" 行信息过长时，将超出部分舍弃

快捷键

f : 查看下一页(f为forward的意思)
b : 查看上一页(b为back的意思)

PageDown : 查看下一页
PageUp   : 查看上一页

d : 查看下半页
u : 查看上半页

空格键 : 向下滚动一页
回车键 : 向下滚动一行

h : 显示帮助界面
q : 退出less命令 

F: 实时查看文件

G：跳转到最后

g：跳转到第一行

grep使用的技巧非常多

1.基本用法

(1)从一个文件中搜索一个单词, (数据可以从文件，或stdin获取)grep match_pattern filename 或者 grep "match_pattern" filename

echo "this is a word\n next line" | grep word

(2)同时从多个文件中搜索grep "match_pattern" filename1 filename2 filename3 ......

(3)将搜索的关键字高亮, 结果行中match_pattern将高亮显示grep "match_pattern" filename --color

(4)只显示匹配的关键字，结果中每一行结果中只显示了match_patterngrep "match_pattern" filename -o

(5)显示不包含match_pattern的其它行grep "match_pattern" filename -v

(6)显示匹配上match_pattern的行数, 一行中多个match_pattern将计为1行grep "match_pattern" filename -c

(7)统计匹配上match_pattern的数量grep "match_pattern" filename -o | wc -l

(8)显示匹配上match_pattern的行号grep "match_pattern" filename -n

grep "match_pattern" filename1 filename2 -n #显示为 filename：lineNum: 匹配行

(9)显示样式匹配所位于的字符或字节偏移grep "match_pattern" filename -b -o

选项-b 总是和 -o 配合使用

match_pattern在匹配行的偏移值，起始值是0

(10)搜索多个文件并找出匹配文本位于哪一个文件中(显示所有包含match_pattern的文件名)grep "match_pattern" filename1 filename2 filename3 ... -l

(11)搜索多个文件并找出不包含match_pattern的文件列表grep "match_pattern" filename1 filename2 filename3 ... -L

2.高级应用

(1)递归搜索文件grep "match_pattern" dir -R

(2)搜索中包括或排查文件

在dir目录下的搜索.c和.cpp文件，进行match_pattern匹配(使用*.{c}时，结果为空，不知道为什么)grep "match_pattern" dir -r --include *.{c,cpp}

在dir目录下搜索除了filename文件grep "match_pattern" dir -r --exclude "filename"

如果需要排除的文件很多，可以将要排除的文件名写入一个文件FILE中，其中每一个文件名占一行grep "match_pattern" dir -r --exclude-from FILE

在dir目录下搜索除了subdir目录下的文件grep "match_pattern" dir -r --exclude-dir subdir

注意： subdir 不要写成subdir/ ，否则将不能排除

(3)输出'\0'值结束的文件名,并删除， -Z和-l结合使用grep "match_pattern" filename -l -Z | args -0 rm

(4)静默模式

不输出结果，只运行，根据运行返回结果，0 文件包含匹配项， 非0 文件不包含匹配项grep "match_pattern" filename -q

使用 #? 获得运行结果

(5)忽略样式match_pattern的大小写grep "match_pattern" filename -i

(6)匹配多个样式grep -e "match_pattern1" -e "match_pattern2" -e "match_pattern3"  filename

如果匹配模式很多，可以将匹配模式写入文件pattern_file中grep -f pattern_file  sourcefile

(7)打印出匹配文本之前或之后的行, 有多个匹配是以--作为各匹配的定界符

[1]打印匹配某个结果之后的4行(4中不包含匹配行)grep "match_pattern" filename -A 4

[2]打印匹配某个结果之前的5行grep  "match_pattern" filename -B 5

[3]打印出匹配文本之前和之后的3行grep "match_pattern" filename -C 3

3.参数详情

-i                                忽略大小写

-o                                只输出匹配项

-c                                只输出匹配行数

-b 与 -o联用，                    匹配模式在匹配行上的偏移值

-l                                只输出匹配上的文件名

-Z 与 -l 联用，                   将匹配上的文件名以'\0'结束输出

-L                                只输出不匹配的文件名

-v                                只输出不匹配的行

-n                                显示行号

-f pattern_file                   从文件中获得匹配模式

-q                                静默模式

-R / -r                           递归搜索

-A num                            显示匹配行的后num行

-B num                            显示匹配行的前num行

-C num                            显示匹配行的前和后num行

--color                           将匹配项高量显示

--include file_list               搜索包含的文件列表

--exclude file_list               排查的文件列表

--exclude-dir dir_list            排查的文件夹列表

--exclude-from file               从文件中获得需要排查的文件列表

less -N a.log | grep -in "exception|error"
less -N +320g a.log 

2.实时监控tail

tail -f -n 100 a.log      实时监控最后100行日志

tail -f  a.log | egrep -i "ERROR|exception"

tail -f  a.log | grep -i "ERROR|exception"

3.head查看文件前n行

head -100 a.log    显示前面100行