正则解析原生处理插件

简介

processor_parse_regex_native插件通过正则匹配解析事件指定字段内容并提取新字段

版本

Stable

版本说明

• 推荐版本：iLogtail v2.0.0 及以上

配置参数

参数	类型	是否必填	默认值	说明
Type	string	是	/	插件类型。固定为processor_parse_regex_native。
SourceKey	string	是	/	源字段名。
Regex	string	是	/	正则表达式。
Keys	[]string	是	/	提取的字段列表。
KeepingSourceWhenParseFail	bool	否	false	当解析失败时，是否保留源字段。
KeepingSourceWhenParseSucceed	bool	否	false	当解析成功时，是否保留源字段。
RenamedSourceKey	string	否	空	当源字段被保留时，用于存储源字段的字段名。若不填，默认不改名。
CopingRawLog	bool	否	false	当解析失败且开启保留源字段时，是否额外复制一份原始日志到 __raw_log__ 字段。

样例

采集文件/home/test-log/reg.log，通过正则表达式解析日志内容并提取字段，并将结果输出到stdout。

• 输入

127.0.0.1 - - [07/Jul/2022:10:43:30 +0800] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"

• 采集配置

enable: true
inputs:
  - Type: input_file
    FilePaths: 
      - /home/test-log/reg.log
processors:
  - Type: processor_parse_regex_native
    SourceKey: content
    Regex: ([\d\.]+) \S+ \S+ \[(\S+) \S+\] \"(\w+) ([^\\"]*)\" ([\d\.]+) (\d+) (\d+) (\d+|-) \"([^\\"]*)\" \"([^\\"]*)\"
    Keys:
      - ip
      - time
      - method
      - url
      - request_time
      - request_length
      - status
      - length
      - ref_url
      - browser
flushers:
  - Type: flusher_stdout
    OnlyStdout: true

• 输出

{
    "__tag__:__path__": "/home/test-log/reg.log",
    "ip": "127.0.0.1",
    "time": "07/Jul/2022:10:43:30",
    "method": "POST",
    "url": "/PutData?Category=YunOsAccountOpLog",
    "request_time": "0.024",
    "request_length": "18204",
    "status": "200",
    "length": "37",
    "ref_url": "-",
    "browser": "aliyun-sdk-java",
    "__time__": "1657161810"
}