weixin_51893925的博客

原创 hbase基础的优化

1.允许在HDFS的文件中追加内容hdfs-site.xml、hbase-site.xml属性：dfs.support.append解释：开启HDFS追加同步，可以优秀的配合HBase的数据同步和持久化。默认值为true。2.优化DataNode允许的最大文件打开数hdfs-site.xml属性：dfs.datanode.max.transfer.threads解释：HBase一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为4096或者更高。默认值：40963.优化延

原创 Hbase搭建（单机和集群）Hmaster高可用

1.上传jdk，hadoop，zookeeper，hbase压缩包2.解压到/usr/local目录下3.配置jdk，hadoop，zookeeper，hbase环境变量4.搭建hadoop集群5.搭建zookeeper集群6.更改Hbase配置1.修改hbase-env.sh配置cd /usr/local/hbase-2.0.5/confvim hbase-env.sh修改jdk路径export JAVA_HOME=/usr/local/jdk1.8.0_201是否运用hb

原创 Hive搭建

安装mysql（此处用docker，没用安装包），hadoop，hive，jdk，mysql驱动包关闭防火墙修改主机名和ip映射关系生成密钥ssh-keygen -t rsa配置密钥ssh-copy-id hive (单机发给自己)上传压缩包hive-1.1.0-cdh5.7.0.tar.gzhadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u201-linux-x64.tar.gzmysql-connector-java-5.1.27-bin.ja

原创 hadoop HA分布式集群搭建

集群规划:# 说明：# 关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service安装步骤：1.依次修改七台主机Linux主机名vim /etc/hostnameweekend012.依次配置七台主机ip域名映射vim /etc/hosts192.168.88.51 weekend01192.168.88.52 weekend02192.168.88.53

原创 linux系统配置环境变量

原创 ES单机版安装

ES单机版安装1.安装JDK（1.8）2.上传解压Elasticsearch-5.4.33.创建一个普通用户，然后将对于的目录修改为普通用户的所属用户和所属组#创建一个es用户useradd es#es创建密码echo 123456|passwd --stdin es#给es用户赋予root权限echo “es ALL =(root) NOPASSWD:ALL” |tee /etc/sudoers.d/es#修改这个文件得所属组和所属者chown -R es:es elasticsea

原创 解决Mysql版本和Navicat Premium版本不支持连接不上的问题

错误使用Navicat Premium 连接MySQL时出现如下错误：原因mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password更改加密规则：mysql -uroot -ppassword #登录use mysql; #选择数据库# 远程连接请将'localhost'换成'%'解决更改加密规则：mysql -uroot -ppassword #登录use mysql; #选择数

原创 docker

DockerDocker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。Docker 从 17.03 版本之后分为 CE（Community Edition: 社区版） 和 EE（Enterprise Edition

原创 虚拟机mysql离线安装

首先清除centos7 默认数据库 mariadbrpm -qa |grep mariadb |xargs yum remove -y到opt文件夹下上传mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar解压mysql-8.0.15-1.el7.x86_64.rpm-bundle.tartar -xvf mysql-8.0.15-1.el7.x86_64.rpm-bundle.tarmysql-community-client-8.0.15-1.el7.x8.

原创 mysql主从复制

修改主服务器master 开启bin-log 日志vim /etc/my.cnflog-bin=mysql-bin // 必须 启用二进制日志server-id=100 // 必须 服务器唯一id 一般取ip地址的最后一段 192.168.66.100修改从节点 slave 开启bin-log 日志vim /etc/my.cnflog-bin=mysql-bin // 必须 启用二进制日志server-id=101 // 必须 服务器唯一id ..

原创 hadoop伪分布搭建 hadoop集群搭建

hadoop搭建一、 配置jdk环境tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local配置环境变量vim /etc/profileexport JAVA_HOME=/usr/local/jdk1.8.0_201export PATH=$PATH:$JAVA_HOME/bin生效环境变量source /etc/profile测试jdkjava -version二、上传hadooptar -zxvf hadoop-2.6.0-

原创 Java 开发环境配置

Java 开发环境配置window系统安装java1.下载JDK首先我们需要下载java开发工具包JDK，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html，点击如下下载按钮：下载后JDK的安装根据提示进行，还有安装JDK的时候也会安装JRE，一并安装就可以了。安装JDK，安装过程中可以自定义安装目录等信息，例如我们选择安装目录为 C:\Program Files (x86)\Java\jdk1.8.0_9