- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark集群的部署及运行
1.Spark运行模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。 1.local(本地模式)：常用于本地开发测...
2018-01-06 15:53:00
246
原创 Hive的安装和使用
1 .安装Hive: sudo tar xvfz apache-hive-2.1.0-bin.tar.gz sudo cp -R apache-hive-2.1.0-bin /usr/local/hive sudo chown -R hadoop:hadoop /usr/local/hive 2. 修改/etc/profile加入HIVE_HOME的变量: export HIVE_HOM...
2018-01-02 11:03:00
179
原创 HBase集群环境部署
HBase官方网站： http://hbase.apache.org/ 官网使用向导：http://hbase.apache.org/book.html 1.上传hbase安装包： 版本：hbase-1.2.4-bin.tar.gz 2.解压： sudo tar zxvf hbase-1.2.4-bin.tar.gz sudo mv hbase-1.2.4 /data/ sudo cho...
2018-01-02 11:00:00
168
原创 Hadoop多节点的集群部署（源码安装）
Hadoop多节点的集群部署（源码安装） 一、部署环境： 我的测试环境： centos7 64bit 3台 node1 192.168.1.8 master slave node2 192.168.1.9 slave node3 192.168.1.11 slave 软件版本： hadoop2.7.3 jdk1.8 二、...
2018-01-02 10:57:00
252
原创 Ambari部署hadoop集群环境
一、Ambari介绍 1.介绍： Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。Ambari提供了一个直观的，易用的Hadoop管理web界面。 Ambari 自身也是一个分布式架构的软件， 采用的是Server/Client的模式，主要组件：ambari-age...
2018-01-02 10:54:00
1426
原创 一、Linux基本管理命令
1.关机重启命令 （1）shutdown命令：shutdown [选项] 时间 选项：-c 取消前一个关机命令 -h 关机 -r 重启 例：shutdown -h now #立刻关机，root...
2018-01-02 10:49:00
137
原创 Docker
1.获取镜像：#docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]Docker 镜像仓库地址：地址的格式一般是 <域名/IP>[:端口号] 。默认地址是 Docker Hub。仓库名：如之前所说，这里的仓库名是两段式名称，即 <用户名>/<软件名> 。对于 Docker Hub，如果不给出用户名，则...
2018-01-02 10:13:00
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人