CDH中添加Elasticsearch服务_cdh集成es资源-CSDN下载

arch

97 浏览量 2021-01-09 10:18:58 上传评论收藏 546KB PDF 举报

资源详情

资源评论

资源推荐

CDH中添加中添加Elasticsearch服务服务

此前Elasticsearch我一直是单独搭建的，后来偶然发现可以在Cloudera Manager中添加ES服务,在搭建过程中这篇博客给了我很多帮助

https://www.cnblogs.com/zhangrui153169/p/11447423.html

但存在一些问题,在这里记录下来以作为这篇文章的补充,也希望能帮助大家减少踩坑。

一、制作一、制作Elasticsearch的的Parcel包和包和csd文件文件

1.配置配置java，，maven等环境变量等环境变量

java:

export JAVA_HOME=/usr/local/java

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

maven:

export MVN_HOME=/usr/local/maven

export PATH=$MVN_HOME/bin:$PATH

2.下载下载cm_ext

Cloudera提供的cm_ext工具,对生成的csd和parcel进行校验

[root@cdh-001 ~]# mkdir -p /github/cloudera

[root@cdh-001 ~]# cd /github/cloudera

[root@cdh-001 cloudera]# git clone https://github.com/cloudera/cm_ext.git

[root@cdh-001 cloudera]# cd cm_ext

[root@cdh-001 cm_ext]# mvn package

下载下载Elasticsearch安装包安装包

[root@cdh-001 cloudera]# mkdir elasticsearch

[root@cdh-001 cloudera]# cd elasticsearch

将elasticsearch包上传到 /github/cloudera/elasticsearch 目录下，我用的elasticsearch-6.2.4版本，贴上下载地址：

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

[root@cdh-001 elasticsearch]# ll

total 290568

-rw-r--r-- 1 root root 29056810 elasticsearch-6.2.4.tar.gz

[root@cdh-001 elasticsearch]# pwd

/github/cloudera/elasticsearch

下载制作下载制作Parcel包和包和CSD文件的脚本文件的脚本

[root@cdh-001 cloudera]# git clone https://github.com/ibagomel/elasticsearch-parcel.git

注意：这里是 /github/cloudera 目录

制作制作 Elasticsearch 的的Parcel包和包和CSD文件并校验文件并校验

[root@cdh-001 cloudera]# cd elasticsearch-parcel

[root@cdh-001 elasticsearch-parcel]# POINT_VERSION=5 VALIDATOR_DIR=/github/cloudera/cm_ext OS_VER=el7 PARCEL_NAME=ElasticSearch ./build-parcel.sh /github/cloudera/elasticsearch/elasticsearch-

6.2.4.tar.gz

[root@cdh-001 elasticsearch-parcel]# VALIDATOR_DIR=/github/cloudera/cm_ext CSD_NAME=ElasticSearch ./build-csd.sh

OS_VER=el7 是指 linux 使用的Centos7.X版本

值得一提的是路径一定要正确，pwd命令确认一下路径是有必要的

制作完成之后，elasticsearch-parcel 新增了build-parcel 和 build-csd文件夹，查看：

[root@cdh-001 elasticsearch-parcel]# ll build-parcel

total 28360

drwxr-xr-x 9 root root 155 ELASTICSEARCH-0.0.5.elasticsearch.p0.5

-rw-r--r-- 1 root root 29034518 ELASTICSEARCH-0.0.5.elasticsearch.p0.5-el7.parcel

-rw-r--r-- 1 root root 482 manifest.json

[root@cdh-001 elasticsearch-parcel]# ll build-csd

total 8

-rw-r--r-- 1 root root 5426 Oct 15 ELASTICSEARCH-1.0.jar

二、在二、在Cloudrea Manager中安装部署中安装部署Elasticsearch服务服务

1.将将Parcel包包:ELASTICSEARCH-0.0.5.elasticsearch.p0.5-el7.parcel 和和 manifest.json 文件部署到文件部署到httpd服务中服务中

[root@cdh-001 ~]# mkdir -p /var/www/html/elasticsearch

[root@cdh-001 ~]# cd /var/www/html/elasticsearch

[root@cdh-001 elasticsearch]# cp /github/cloudera/elasticsearch-parcel/build-parcel/ELASTICSEARCH-0.0.5.elasticsearch.p0.5-el7.parcel ./

[root@cdh-001 elasticsearch]# cp /github/cloudera/elasticsearch-parcel/build-parcel/manifest.json ./

查看：

[root@cdh-001 elasticsearch]# ll

total 28360

-rwxrwxrwx 1 root root 29034518 ELASTICSEARCH-0.0.5.elasticsearch.p0.5-el7.parcel

-rwxrwxrwx 1 root root 482 manifest.json

[root@cdh-001 elasticsearch]# pwd

/var/www/html/elasticsearch

浏览器访问测试是否部署成功：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

评论收藏

内容反馈

weixin_38651286

粉丝: 8

CDH中添加Elasticsearch服务

评论0

最新资源

CDH中添加Elasticsearch服务

评论0

CDH添加第三方服务的方法

使用Hbase协作器(Coprocessor)同步数据到ElasticSearch（hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本）

InstallCDH+ES.sh

Elasticsearch7.9.2基于CDH6.3.1安装包.rar

CDH6.3.2编译集成包(flink1.12+es7.9),cdh6.2.1也可以用,亲测

es7.9+flink1.12基于CDH6.3.2编译之后的包 。【启动失败看资源描述！！！！！！！！】

elasticsearch v6.3.2 演示demo

Cloudera Manager6.2.1及CDH最新版本安装全程记录

Elasticsearch集成Hadoop最佳实践

CDH5.16.1离线安装.docx

CDH详细安装教程

CDH-HDP-MAPR-DKH-星环组件比较.docx

CDH5.11安装文档

CDH_5.4.9_hadoop集群搭建方法

CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1

elasticsearch漏洞检测工具V1.0.zip

CDH_Hadoop5.13.3集群离线部署（三台主机）

elasticsearch-hadoop-5.6.7

ElasticsearchDemo.rar

ES集群搭建详细说明

ELK 安装文档

EFK日志系统安装配置文档

apache-atlas-2.1.0-classification-updater.zip

ES与大数据平台集成资料

flume-chd版本

flume开发相关工具包

prometheus监控postgress规则

flink写入带kerberos认证的kudu connector

6、Python 模块和包

并行科学计算：C++与MPI的无缝融合

最新资源

es7.9+flink1.12基于CDH6.3.2编译之后的包。【启动失败看资源描述！！！！！！！！】