docker部署logstash

使用 Docker 部署 Logstash 是一种高效且便捷的方式，能够快速构建日志处理管道。以下是一些关键步骤和配置方法： ### 1. 使用 Dockerfile 构建自定义镜像 首先，可以创建一个 `Dockerfile` 来定义 Logstash 的基础镜像，并添加自定义的配置文件。 ```Dockerfile FROM docker.elastic.co/logstash/logstash:7.1.0 # 移除默认的 pipeline 配置文件 RUN rm -f /usr/share/logstash/pipeline/logstash.conf # 添加自定义的 pipeline 配置文件 ADD config/pipeline/ /usr/share/logstash/pipeline/ # 如果需要，也可以添加其他配置文件 # ADD config/setting/ /usr/share/logstash/config/ ``` 接着，编写一个脚本来构建并推送镜像到私有仓库。 ```bash #!/bin/bash VER="5.5.2" docker build -t "dev.docker.mcc.cn:5000/logstash:${VER}" . docker push dev.docker.mcc.cn:5000/logstash:${VER} ``` ### 2. 运行 Logstash 容器 在构建完镜像后，可以通过 `docker run` 命令来启动容器，并挂载本地目录以便于管理和持久化数据。 ```bash #!/bin/bash docker run -d \ -v /var/log/glog/:/var/log/glog/ \ dev.docker.mcc.cn:5000/logstash:7.1.0 ``` 此外，还可以通过更详细的参数来指定配置文件和数据卷的位置。 ```bash docker run -it --name testlogstash \ -v /data/users/username/workspace/logstash/config:/usr/share/logstash/config \ -v /data/users/username/workspace/logstash/data:/usr/share/logstash/data \ -v /data/users/username/workspace/logstash/pipeline:/usr/share/logstash/pipeline \ -d docker.elastic.co/logstash/logstash:7.12.0 ``` ### 3. 配置文件管理 为了便于管理和调试，建议将 Logstash 的配置文件从容器中拷贝出来进行编辑和备份。 ```bash mkdir -p /root/logstash/data && chmod 777 /root/logstash/data docker cp logstash:/usr/share/logstash/config /root/logstash/ docker cp logstash:/usr/share/logstash/pipeline /root/logstash/ ``` ### 4. 使用 Docker Compose 部署 对于复杂的部署场景，推荐使用 `docker-compose.yml` 文件来管理服务。 ```yaml version: "3.5" services: logstash: image: docker.elastic.co/logstash/logstash:7.6.2 container_name: logstash hostname: logstash- privileged: true user: root ports: - 5044:5044 volumes: - /etc/localtime:/etc/localtime:ro - /etc/timezone:/etc/timezone:ro - /data/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml:ro - /data/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro restart: always tty: true ``` ### 5. 日志输出配置示例 下面是一个简单的 Logstash 配置文件示例，用于读取文件并将内容输出到控制台。 ```conf input { file { path => "/var/log/glog/*" type => "file_2_console" start_position => "beginning" } } output { if [type] == "file_2_console" { stdout { codec => rubydebug } } } ``` ### 6. Java 相关配置 如果需要调整 JVM 参数，可以在运行容器时传递环境变量或者修改 Logstash 的启动脚本。 ```bash # 设置 JVM 内存大小 -Xmx512m -Xms512m ```