ELK初接触：使用elasticsearch、logstash、kibana

一、下载使用elasticsearch

1、下载elasticsearch软件包链接：
（1）通过官网进行下载：
（2）百度网盘下载：
链接：https://pan.baidu.com/s/1wxGWMSiRm4HzTeBwJoi5OA
提取码：hisr
2、解压elasticsearch压缩包后的目录结构，如下图所示。

3、进入bin 目录下，运行elasticsearch.bat文件。

4、出现下述图片所示内容，则成功启动。

5、在本地浏览器，输入地址访问 http://127.0.0.1:9200，出现下述页面显示信息，则证明成功。

二、下载并使用kibana

1、下载kibana软件包链接：
（1）通过官网下载：
（2）上述百度网盘链接包含所有的软件包
2、解压kibana压缩包后的目录结构，如下图所示。

3、进入bin 目录下，运行kibana.bat文件。

4、出现下述所示，则证明启动成功（启动成功的前提是elasticsearch需要启动）

5、访问上图中所示链接，选择console则可以进行操作

三、下载使用ik分词器

1、下载链接：https://github.com/medcl/elasticsearch-analysis-ik/releases选择需要的版本进行下载
2、解压之后，目录结构如下图所示

3、在elasticsearch目录下的plugins目录下新建一个文件夹ik

3、将elasticsearch-analysis-ik-7.6.0目录下的所有文件复制到ik目录下，如下图所示

4、在kibana中进行测试如下图所示

5、可以编辑main.dic文件，添加自定义的词汇

四、下载使用logstash

1、通过官网进行下载：
2、解压后目录结构，如下图所示

3、通过logstash将mysql中的数据同步到elasticsearch中
（1）将mysql的驱动jar包导入到下图所示的目录下

（2）打开config文件夹，可以查看logstash-sample.conf实例配置文件


（3）可以新建一个配置文件，logstast-mysql.conf，编辑内容如下所示

input {
  # 多张表的同步只需要设置多个jdbc的模块就行了
  jdbc {
      # mysql 数据库链接,shop为数据库名
      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      # 用户名和密码
      jdbc_user => "root"
      jdbc_password => "123456"
      # 驱动
      jdbc_driver_library => "D:/elasticsearch/logstash-7.6.0/mysql-connector-java-8.0.12.jar"
      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      #是否分页
      #jdbc_paging_enabled => "true"
      #jdbc_page_size => "50000"
      #直接执行sql语句
      statement =>"SELECT * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
      # 执行的sql 文件路径+名称
      # statement_filepath => "/hw/elasticsearch/logstash-6.2.4/bin/test.sql"
      #设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
      # 索引类型
      #type => "jdbc"
    }
}
output {
  elasticsearch {
        #es的ip和端口
        hosts => ["http://127.0.0.1:9200"]
        #ES索引名称（自己定义的）
        index => "blog"
        #文档类型
        #document_type => "log"
        #设置数据的id为数据库中的字段
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

（4）打开dos窗口，进入logstash的bin目录下，执行下述命令即可检查配置是否有误。

logstash -f ../config/logstash-mysql.conf -t

（5）在dos窗口下使用下述命令，即可成功启动配置文件，同步数据

logstash -f ../config/logstash-mysql.conf

（6）在kibana中进行查看

五、遇到的问题

1、配置文件内容错误，导致出现下述的问题

2、对于启动配置文件失败的时候，一定要查看日志文件，日志中会提示错误所在的位置。在log目录下的logstash-plain.log可以查看输出的日志信息。