docker安装logstash:7.6.2

使用 Docker 部署 Logstash 是一种高效且便捷的方式，能够快速构建日志处理管道。以下是一些关键步骤和配置方法： ### 1. 使用 Dockerfile 构建自定义镜像 首先，可以创建一个 `Dockerfile` 来定义 Logstash 的基础镜像，并添加自定义的配置文件。 ```Dockerfile FROM docker.elastic.co/logstash/logstash:7.1.0 # 移除默认的 pipeline 配置文件 RUN rm -f /usr/share/logstash/pipeline/logstash.conf # 添加自定义的 pipeline 配置文件 ADD config/pipeline/ /usr/share/logstash/pipeline/ # 如果需要，也可以添加其他配置文件 # ADD config/setting/ /usr/share/logstash/config/ ``` 接着，编写一个脚本来构建并推送镜像到私有仓库。 ```bash #!/bin/bash VER="5.5.2" docker build -t "dev.docker.mcc.cn:5000/logstash:${VER}" . docker push dev.docker.mcc.cn:5000/logstash:${VER} ``` ### 2. 运行 Logstash 容器 在构建完镜像后，可以通过 `docker run` 命令来启动容器，并挂载本地目录以便于管理和持久化数据。 ```bash #!/bin/bash docker run -d \ -v /var/log/glog/:/var/log/glog/ \ dev.docker.mcc.cn:5000/logstash:7.1.0 ``` 此外，还可以通过更详细的参数来指定配置文件和数据卷的位置。 ```bash docker run -it --name testlogstash \ -v /data/users/username/workspace/logstash/config:/usr/share/logstash/config \ -v /data/users/username/workspace/logstash/data:/usr/share/logstash/data \ -v /data/users/username/workspace/logstash/pipeline:/usr/share/logstash/pipeline \ -d docker.elastic.co/logstash/logstash:7.12.0 ``` ### 3. 配置文件管理 为了便于管理和调试，建议将 Logstash 的配置文件从容器中拷贝出来进行编辑和备份。 ```bash mkdir -p /root/logstash/data && chmod 777 /root/logstash/data docker cp logstash:/usr/share/logstash/config /root/logstash/ docker cp logstash:/usr/share/logstash/pipeline /root/logstash/ ``` ### 4. 使用 Docker Compose 部署 对于复杂的部署场景，推荐使用 `docker-compose.yml` 文件来管理服务。 ```yaml version: "3.5" services: logstash: image: docker.elastic.co/logstash/logstash:7.6.2 container_name: logstash hostname: logstash- privileged: true user: root ports: - 5044:5044 volumes: - /etc/localtime:/etc/localtime:ro - /etc/timezone:/etc/timezone:ro - /data/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml:ro - /data/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro restart: always tty: true ``` ### 5. 日志输出配置示例 下面是一个简单的 Logstash 配置文件示例，用于读取文件并将内容输出到控制台。 ```conf input { file { path => "/var/log/glog/*" type => "file_2_console" start_position => "beginning" } } output { if [type] == "file_2_console" { stdout { codec => rubydebug } } } ``` ### 6. Java 相关配置 如果需要调整 JVM 参数，可以在运行容器时传递环境变量或者修改 Logstash 的启动脚本。 ```bash # 设置 JVM 内存大小 -Xmx512m -Xms512m ```

### Logstash 7.6.2 的下载与安装教程 #### 一、Linux 环境下的安装 在 Linux 系统上，可以按照以下方法完成 Logstash 7.6.2 的安装： 1. **下载并解压 Logstash** 首先切换到 `/opt` 或其他适合的目录下，执行如下命令来下载和解压缩 Logstash： ```bash cd /opt tar -zxvf logstash-7.6.2.tar.gz cd logstash-7.6.2/ ``` 此操作会将 Logstash 解压至当前路径，并创建对应的文件夹[^1]。 2. **安装插件** 如果需要额外的功能支持，可以通过以下方式安装所需的插件： ```bash bin/logstash-plugin install <plugin_name> ``` --- #### 二、Windows 环境下的安装 对于 Windows 用户，以下是具体的安装步骤： 1. **下载 Logstash** 访问官方站点或者镜像地址获取 `logstash-7.6.2.zip` 文件，并将其解压到目标位置。例如： ```plaintext C:\Program Files\Logstash\ ``` 2. **配置环境变量** 将 Logstash 所需的依赖项（如 Java JDK）加入系统的 PATH 变量中，确保运行时能够正常调用。 3. **启动 Logstash** 使用 CMD 进入 Logstash 的 `bin` 目录后，通过指定配置文件的方式启动服务： ```cmd cd C:\Program Files\Logstash\bin logstash -f logstash.conf ``` 上述命令中的 `-f` 参数用于加载自定义配置文件[^3]。 --- #### 三、基于 Docker 的安装 如果希望利用容器化技术简化部署流程，则可以选择使用 Docker 来快速搭建 Logstash 环境： 1. **拉取镜像** 在本地主机上执行以下指令以获取最新版本的 Logstash 镜像： ```dockerfile docker pull logstash:7.6.2 ``` 2. **运行容器实例** 启动一个持久化的 Logstash 实例，并挂载必要的配置文件映射关系： ```dockerfile docker run -d \ --restart=always \ --log-driver json-file \ --log-opt max-size=100m \ --log-opt max-file=2 \ -p 5044:5044 \ --name logstash \ -v /es/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml \ -v /es/logstash/conf.d/:/usr/share/logstash/conf.d/ \ logstash:7.6.2 ``` 以上脚本实现了端口绑定以及外部存储卷的支持功能[^4]。 --- #### 四、Logstash 的基础用途说明 Logstash 是 ELK 技术栈的重要组成部分之一，主要用于实现多源异构数据之间的高效传输与处理工作流设计。它可以从 MySQL 数据库表记录变更捕获事件、读取服务器上的各类日志文档或者是 Redis 缓存队列里的消息等内容作为输入来源；经过过滤器阶段清洗加工之后再写回到 Elasticsearch 中索引保存起来供后续查询分析所用[^5]。 ---