logstash解析JSON格式的字符串输入

最新推荐文章于 2024-07-30 19:43:15 发布

原创最新推荐文章于 2024-07-30 19:43:15 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

logstash 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用Logstash中的Grok过滤器从JSON格式的数据中提取特定字段，并通过Mutate过滤器将提取到的数据拼接成指定格式，以便于后续存储及处理。此方法适用于字段数量不固定的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

业务需求：输入为JSON字符串，JSON字符串的字段个数不确定，但知道最多可能会有哪些字段，顺序确定的，现在要提取其中的value值并以制表符分割，方便后续存储在HDFS中并便于hive建表：

示例输入：

{ "cjdid": "DZQ10012","rfidId": 21412341234123410,"passTime": 1530135600,"plateColor": "1","rectifyCode": "112412","mergeCode": "123125","eid": "12124315","plateCode":4}

{ "cjdid": "DZQ10012","rectifyCode": "112412","mergeCode": "123125","eid": "12124315","plateCode":4}

输出：DZQ10012 21412341234123410 1530135600 1 112412 123125 12124315 4

DZQ10012 112412 123125 12124315 4

logstash中采用gork进行正则匹配获取相应字段，拼接采用mutate实现（这里的代码与示例输入输出不是对应的，但原理一样）

filter{

grok{
match => {

#正则匹配获取字段值
"message" => '^{("COLLECT_TIME":"?(?<time>\d+)"?,?)?("CONTENT1":"?(?<CONTENT1>\w+)"?,?)?("CONTENT2":"?(?<CONTENT2>\d+)"?,?)?'
}
}

#逐个字段判断拼接

   if[time]{
       mutate{
           replace=>{"message"=>"%{time}"}
           remove_field => ["time"]
       }
   }else{
       mutate{
replace=>{"message"=>"null"}
}
   }

   if[CONTENT1]{
       mutate{
replace => { "message" =>"%{message}   %{CONTENT1}" }
           remove_field => ["CONTENT1"]
}
   }else{
       mutate{
replace => { "message" =>"%{message} null" }
}

}

   if[CONTENT2]{
mutate{
replace=>{"message" => "%{message}   %{CONTENT2}"}
           remove_field => ["CONTENT2"]
}
}else{
       mutate{
replace=>{"message" => "%{message} null"}
}
   }

}