docker-compose 部署的logstash，控制台打印测试

### 使用 Docker Compose 部署 Logstash 并与 Elasticsearch 和 Kibana 集成 为了实现这一目标，需要创建 `docker-compose.yml` 文件来定义服务之间的关系。以下是具体的配置方法： #### 创建项目结构 首先建立一个目录用于保存所有的配置文件和服务定义。 ```bash mkdir -p ~/elk-stack/{config,elasticsearch/data} cd ~/elk-stack/ ``` #### 编写 docker-compose.yml 文件 在此文件中指定三个主要组件：Elasticsearch、Logstash 及 Kibana 的容器设置以及它们之间如何交互。 ```yaml version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0 container_name: es-node environment: - "9200:9200" - "9300:9300" volumes: - ./elasticsearch/data:/usr/share/elasticsearch/data logstash: image: docker.elastic.co/logstash/logstash:7.10.0 container_name: ls-node depends_on: - elasticsearch ports: - "5044:5044" - "9600:9600" volumes: - ./config/logstash.conf:/usr/share/logstash/pipeline/logstash.conf kibana: image: docker.elastic.co/kibana/kibana:7.10.0 container_name: kb-node depends_on: - elasticsearch ports: - "5601:5601" ``` 此段代码展示了如何通过 YAML 格式的 `docker-compose.yml` 来描述 ELK 堆栈中的各个部分及其依赖项[^3]。 #### 准备 Logstash 配置文件 在上述命令创建的 `~/elk-stack/config/` 目录下放置名为 `logstash.conf` 的输入管道配置文件，该文件指定了数据源和目的地等信息。 ```ruby input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}" } stdout { codec => rubydebug } } ``` 这段 Ruby DSL 定义了 Logstash 输入插件监听 Beats 协议的消息，并将其转发给同一网络内的 Elasticsearch 实例进行索引存储；同时输出到控制台以便调试查看[^4]。 完成以上步骤之后，在终端执行如下指令启动整个环境： ```bash docker-compose up -d ``` 这会下载必要的镜像并以后台模式运行所有服务。等待一段时间让各节点初始化完成后即可访问 http://localhost:5601 测试是否成功搭建起完整的ELK平台。

当然，下面是使用docker-compose安装ELK的简要教程： 1. 首先，确保你已经安装了Docker和docker-compose工具。 2. 创建一个新的目录，用于存放ELK的配置文件和数据。例如，可以在命令行中运行以下命令创建一个名为elk的文件夹： ``` mkdir elk cd elk ``` 3. 在elk目录中创建一个名为docker-compose.yml的文件，并使用文本编辑器打开它。 4. 将以下内容复制并粘贴到docker-compose.yml文件中： ```yaml version: '3.7' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 container_name: elasticsearch environment: - discovery.type=single-node ports: - 9200:9200 logstash: image: docker.elastic.co/logstash/logstash:7.14.0 container_name: logstash volumes: - ./logstash/config:/usr/share/logstash/pipeline ports: - 5000:5000 kibana: image: docker.elastic.co/kibana/kibana:7.14.0 container_name: kibana ports: - 5601:5601 ``` 这个docker-compose.yml文件定义了三个服务：Elasticsearch、Logstash和Kibana。其中，Elasticsearch提供数据存储和搜索功能，Logstash用于数据处理和传输，Kibana提供了一个可视化的控制台。 5. 保存并关闭docker-compose.yml文件。 6. 在elk目录中创建一个名为logstash的文件夹，并在该文件夹中创建一个名为config的文件夹。 7. 进入config文件夹，并创建一个名为logstash.conf的文件，并使用文本编辑器打开它。 8. 将以下内容复制并粘贴到logstash.conf文件中： ``` input { tcp { port => 5000 codec => json_lines } } output { elasticsearch { hosts => "elasticsearch:9200" index => "logs-%{+YYYY.MM.dd}" } } ``` 这个logstash.conf文件定义了一个TCP输入插件，监听端口5000，并将数据发送到Elasticsearch。 9. 保存并关闭logstash.conf文件。 10. 返回elk目录，并在命令行中运行以下命令启动ELK堆栈： ``` docker-compose up -d ``` 这将下载并启动Elasticsearch、Logstash和Kibana的Docker镜像。 11. 等待一段时间，直到所有容器成功启动。你可以使用以下命令检查容器的状态： ``` docker-compose ps ``` 12. 现在，你可以通过浏览器访问Kibana的Web界面。打开http://localhost:5601/，你将看到Kibana的欢迎页面。 这样，你就成功地使用docker-compose安装了ELK堆栈。你可以通过配置Logstash来接收和处理日志数据，然后使用Kibana进行可视化和查询。请注意，这只是一个简单的示例，你可以根据自己的需求进行配置和调整。