HBase环境搭建与使用

最新推荐文章于 2024-05-03 15:28:18 发布
原创 最新推荐文章于 2024-05-03 15:28:18 发布 · 716 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #大数据

目录

环境

  • Hadoop集群
  • Zookeeper单机
  • Hbase单机
    在这里插入图片描述
    开发环境可以关注 “后端码匠” 回复 电脑环境 获取 ，也可自行下载，也很快的.

环境变量

可自行度娘

#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.6
export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

配置

Hadoop配置在另外一条推文已经写过了

Hadoop集群搭建

Zookeeper配置

没有使用Hbase自带的zk , 本想用docker中的zk来的, 但是有点小问题(解决了会用的)
在这里插入图片描述
本次使用的是官网下载的 3.5.6版本 http://archive.apache.org/dist/zookeeper/
在这里插入图片描述

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/module/zk/data   # 自己创建的
dataLogDir=/opt/module/zk/dataLog  # 自己创建的
# the port at which the clients will connect
clientPort=2181

本次所有的开发环境 运行的用户为 codingce, 大家可自己创建类似账户 并分配权限， 此过程在 我写的 Hadoop集群搭建里面有如何创建用户.

文章地址

切换完用户后

启动 ZooKeeper

进入到bin目录下

$ ./zkServer.sh start

查看 zk 状态

./zkServer.sh status

停止 zk

./zkServer.sh stop

重启 zk

./zkServer.sh restart

测试连接 zk

./zkCli.sh -server 127.0.0.1:2181

期间遇到的问题

./zkCli.sh -server 127.0.0.1:2181

使用 ls / 来扫描zookeeper中的数据

使用 rmr /hbase 删除zookeeper中的hbase数据

重新启动hbase即可

Hbase配置

config 目录下

  • hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221/
export HBASE_MANAGES_ZK=false
  • hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->


<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop102:8020/hbase</value>
        </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
        <!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
    <property>
        <name>hbase.master.port</name>
        <value>16000</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>127.0.0.1:2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/module/zk/data</value>
    </property>
</configuration>

软连接 hadoop 配置文件到 hbase

[codingce@linuxmxz conf]$ ln -s /opt/module/hadoop-3.1.1/etc/hadoop/core-site.xml /opt/module/hbase-2.2.7/conf/core-site.xml
[codingce@linuxmxz conf]$ ln -s /opt/module/hadoop-3.1.1/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.2.7/conf/hdfs-site.xml

在这里插入图片描述

启动
bin/start-hbase.sh

停止
bin/stop-hbase.sh

在这里插入图片描述

环境启动无误后 先试下 Shell操作然后进行代码操作

HBase Shell 基本操作

Java 操作

maven项目

pom

<dependencies>

        <!-- hbase -->
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
<!--        <dependency>-->
<!--            <groupId>org.apache.hbase</groupId>-->
<!--            <artifactId>hbase-client</artifactId>-->
<!--            <version>2.2.7</version>-->
<!--        </dependency>-->

        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.4.2</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.4.2</version>
        </dependency>


        <!--        <dependency>-->
<!--            <groupId>org.apache.hbase</groupId>-->
<!--            <artifactId>hbase-it</artifactId>-->
<!--            <version>2.2.7</version>-->
<!--            <scope>test</scope>-->
<!--        </dependency>-->

        <!-- hbase-server -->
<!--        <dependency>-->
<!--            <groupId>org.apache.hbase</groupId>-->
<!--            <artifactId>hbase-server</artifactId>-->
<!--            <version>2.2.7</version>-->
<!--        </dependency>-->

        <!-- hbase-protocol -->
<!--        <dependency>-->
<!--            <groupId>org.apache.hbase</groupId>-->
<!--            <artifactId>hbase-protocol</artifactId>-->
<!--            <version>2.2.7</version>-->
<!--        </dependency>-->


        <!-- hadoop -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.1</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.1</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>
    </dependencies>

业务代码

测试代码

package cn.com.codingce.hbase.mydemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.NamespaceNotFoundException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

/**
 * 1.4.2 版本写法
 *
 * @author williamma
 */
public class TestApi_1 {

    public static Configuration conf;

    static {
        //使用 HBaseConfiguration 的单例方法实例化
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "139.9.34.48");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
    }

    public static void main(String[] args) throws IOException {

        // 获取连接
        //setClassLoader 类加载器
        //    public static Configuration addHbaseResources(Configuration conf) {
        //        conf.addResource("hbase-default.xml");
        //        conf.addResource("hbase-site.xml");
        //        checkDefaultsVersion(conf);
        //        return conf;
        //    }
        Connection connection = ConnectionFactory.createConnection(conf);

        System.out.println("============ 获取连接对象 ================");
        System.out.println(connection);

        // 获取操作对象 admin
        //new HBaseAdmin(connection);  不推荐使用

        Admin admin = connection.getAdmin();


        //操作数据库 判断数据库中有没有某张表
        //判断命名空间
        try {
            admin.getNamespaceDescriptor("codingce");
        } catch (NamespaceNotFoundException e) {
            //创建命名空间
            NamespaceDescriptor codingce = NamespaceDescriptor.create("codingce").build();
            admin.createNamespace(codingce);
        }

        //判断hbase中是否存在某张表
        TableName tableName = TableName.valueOf("codingce:student");
        boolean b = admin.tableExists(tableName);
        System.out.println("判断hbase中是否存在某张表: codingce:student" + b);

        if (b) {
            //查询数据
            //获取指定表对象
            Table table = connection.getTable(tableName);
            String rowkey = "1003";
            //注意字符编码问题
            //Get get = new Get(rowkey.getBytes());
            Get get = new Get(Bytes.toBytes(rowkey));

            //查询结果
            Result result = table.get(get);
            boolean empty = result.isEmpty();
            System.out.println("是否存在：" + empty);
            if (empty) {
                //新增数据
                Put put = new Put(Bytes.toBytes(rowkey));
                String family = "info";
                String column = "name";
                String val = "后端码匠";
                put.addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes(val));
                table.put(put);
                System.out.println("增加数据。。。");
            } else {
                //展示数据
                for (Cell cell : result.rawCells()) {
//                    cell.
                    System.out.println(" value " + Bytes.toString(CellUtil.cloneValue(cell)));
                    System.out.println(" rowkey " + Bytes.toString(CellUtil.cloneRow(cell)));
                    System.out.println(" family " + Bytes.toString(CellUtil.cloneFamily(cell)));
                    System.out.println(" column " + Bytes.toString(CellUtil.cloneQualifier(cell)));
                }
            }
        } else {
            //创建表
            //创建表的描述对象
            HTableDescriptor td = new HTableDescriptor(tableName);
            //增加列族

            HColumnDescriptor cd = new HColumnDescriptor("info");
            td.addFamily(cd);
            admin.createTable(td);
            System.out.println("创建完成");
        }


    }

    /**
     * 判断表是否存在
     *
     * @param tableName
     * @return
     * @throws MasterNotRunningException
     * @throws ZooKeeperConnectionException
     * @throws IOException
     */
    public static boolean isTableExist(String tableName, Connection connection) throws MasterNotRunningException,
            ZooKeeperConnectionException, IOException {
        //在 HBase 中管理、访问表需要先创建 HBaseAdmin 对象
        //Connection connection = ConnectionFactory.createConnection(conf); //HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
        Admin admin = connection.getAdmin();
        //判断命名空间
        try {
            NamespaceDescriptor namespace = admin.getNamespaceDescriptor("xxx");
            if (namespace == null) {
                //创建表空间
                return true;
            }
        } catch (NamespaceNotFoundException e) {
            System.out.println(e.getMessage());
            return false;
        }

        return admin.tableExists(TableName.valueOf(tableName));
    }

    public static void createTable(String tableName, Connection connection, String... columnFamily) throws
            MasterNotRunningException, ZooKeeperConnectionException, IOException {
        Admin admin = connection.getAdmin();
        //判断表是否存在
        if (isTableExist(tableName, connection)) {
            System.out.println("表" + tableName + "已存在");
            //System.exit(0);
        } else {
            //创建表属性对象,表名需要转字节
            HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf(tableName));
            //创建多个列族
            for (String cf : columnFamily) {
                descriptor.addFamily(new HColumnDescriptor(cf));
            }
            //根据对表的配置，创建表 admin.createTable(descriptor); System.out.println("表" + tableName + "创建成功!");
        }
    }

}

业务封装

package cn.com.codingce.hbase.mydemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.NamespaceNotFoundException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

/**
 * 1.4.2 版本写法
 *
 * @author williamma
 */
public class TestApi_2 {

    public static void main(String[] args) throws IOException {

//        dropTable("codingce:student");
//        createTable("user", "info");
        getAllRows("codingce:student");
    }

    //获取 Configuration 对象
    public static Configuration conf;

    static {
        //使用 HBaseConfiguration 的单例方法实例化
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "139.9.34.48");
        conf.set("hbase.zookeeper.property.clientPort", "2181");

    }

    /**
     * 获取连接
     *
     * @return
     * @throws IOException
     */
    public static Connection getConnection() throws IOException {
        Connection connection = ConnectionFactory.createConnection(conf);
        System.out.println("创建连接。。。" + connection);
        return connection;
    }

    /**
     * 判断表是否存在
     *
     * @param tableName
     * @return
     * @throws MasterNotRunningException
     * @throws ZooKeeperConnectionException
     * @throws IOException
     */
    public static boolean isTableExist(String tableName) throws MasterNotRunningException,
            ZooKeeperConnectionException, IOException {
        //在 HBase 中管理、访问表需要先创建 HBaseAdmin 对象
        //Connection connection = ConnectionFactory.createConnection(conf);
        // HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
        Connection connection = getConnection();
        Admin admin = connection.getAdmin();
        boolean result = admin.tableExists(TableName.valueOf(tableName));
        System.out.println("表是否存在：" + result);
        return result;
    }

    /**
     * 创建表
     *
     * @param tableName
     * @param columnFamily
     * @throws MasterNotRunningException
     * @throws ZooKeeperConnectionException
     * @throws IOException
     */
    public static void createTable(String tableName, String... columnFamily) throws
            MasterNotRunningException, ZooKeeperConnectionException, IOException {

        Connection connection = getConnection();

        Admin admin = connection.getAdmin();

        //操作数据库 判断数据库中有没有某张表
        //判断命名空间
        try {
            admin.getNamespaceDescriptor("codingce");
        } catch (NamespaceNotFoundException e) {
            //创建命名空间
            NamespaceDescriptor codingce = NamespaceDescriptor.create("codingce").build();
            admin.createNamespace(codingce);
        }

        //判断表是否存在
        if (isTableExist("codingce:" + tableName)) {
            System.out.println("表 " + "codingce:" + tableName + "已存在");
            //System.exit(0);
        } else {
            //创建表
            //创建表属性对象,表名需要转字节
            HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf("codingce:" + tableName));
            //创建多个列族
            for (String cf : columnFamily) {
                descriptor.addFamily(new HColumnDescriptor(cf));
            }
            //根据对表的配置，创建表
            admin.createTable(descriptor);

            System.out.println("表 " + "codingce:" + tableName + "创建成功!");
        }
    }

    /**
     * 删除表
     * <p>
     * codingce:student
     * 命名空间 : 表名
     *
     * @param tableName
     * @throws MasterNotRunningException
     * @throws ZooKeeperConnectionException
     * @throws IOException
     */
    public static void dropTable(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException {
        Connection connection = getConnection();
        Admin admin = connection.getAdmin();
        if (isTableExist(tableName)) {
            admin.disableTable(TableName.valueOf(tableName));
            admin.deleteTable(TableName.valueOf(tableName));
            System.out.println("表" + tableName + "删除成功!");
        } else {
            System.out.println("表" + tableName + "不存在!");
        }
    }

    /**
     * 向表中插入数据
     *
     * @param tableName
     * @param rowKey
     * @param columnFamily
     * @param column
     * @param value
     * @throws IOException
     */
    public static void addRowData(String tableName,
                                  String rowKey,
                                  String columnFamily,
                                  String column,
                                  String value) throws IOException {
        Connection connection = getConnection();

        //查询数据
        //获取指定表对象
        Table table = connection.getTable(TableName.valueOf(tableName));
        //注意字符编码问题
        //Get get = new Get(rowkey.getBytes());
        Get get = new Get(Bytes.toBytes(rowKey));

        //查询结果
        Result result = table.get(get);
        boolean empty = result.isEmpty();

        System.out.println("是否存在：" + empty);

        if (empty) {
            //新增数据
            Put put = new Put(Bytes.toBytes(rowKey));
            put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value));
            table.put(put);
            System.out.println("插入数据成功。。。");
        } else {
            System.out.println("已存在此数据。。。");
        }
    }

    /**
     * 删除多行数据
     *
     * @param tableName
     * @param rows
     * @throws IOException
     */
    public static void deleteMultiRow(String tableName, String... rows) throws IOException {
        Connection connection = getConnection();
        Table table = connection.getTable(TableName.valueOf(tableName));
        List<Delete> deleteList = new ArrayList<Delete>();
        for (String row : rows) {
            Delete delete = new Delete(Bytes.toBytes(row));
            deleteList.add(delete);
        }
        table.delete(deleteList);
        table.close();
    }

    /**
     * 获取所有数据
     *
     * @param tableName
     * @throws IOException
     */
    public static void getAllRows(String tableName) throws IOException {

        Connection connection = getConnection();
        Table table = connection.getTable(TableName.valueOf(tableName));

        //得到用于扫描 region 的对象
        Scan scan = new Scan();
        //使用 HTable 得到 resultcanner 实现类的对象
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            Cell[] cells = result.rawCells();
            for (Cell cell : cells) {
                //上下两个循环待改
                System.out.println(" value " + Bytes.toString(CellUtil.cloneValue(cell)));
                System.out.println(" rowkey " + Bytes.toString(CellUtil.cloneRow(cell)));
                System.out.println(" family " + Bytes.toString(CellUtil.cloneFamily(cell)));
                System.out.println(" column " + Bytes.toString(CellUtil.cloneQualifier(cell)));
            }
        }
    }

    /**
     * 获取某一行数据
     *
     * @param tableName
     * @param rowKey
     * @throws IOException
     */
    public static void getRow(String tableName, String rowKey) throws IOException {
        Connection connection = getConnection();

        Table table = connection.getTable(TableName.valueOf(tableName));

        Get get = new Get(Bytes.toBytes(rowKey));
        //get.setMaxVersions();显示所有版本
        //get.setTimeStamp();显示指定时间戳的版本
        Result result = table.get(get);
        for (Cell cell : result.rawCells()) {
            System.out.println(" value " + Bytes.toString(CellUtil.cloneValue(cell)));
            System.out.println(" rowkey " + Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println(" family " + Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println(" column " + Bytes.toString(CellUtil.cloneQualifier(cell)));
        }
    }
}

项目地址

目前还在github(太慢了最近在迁移项目到gitee)

Github

Gitee

今天刚踩的坑

如有问题欢迎讨论， 我在 后端码匠 等你

HBase集群搭建与使用
04-20 332
本文着重介绍hbase概念、存储原理、集群搭建、shell指令、javaAPI、hive整合habse等内容
HBase部署与使用
weixin_30919571的博客
05-30 284
HBase部署与使用 概述 HBase的角色 HMaster 功能： 监控RegionServer 处理RegionSe...
HBase环境搭建和使用
独醉的博客
06-14 2304
HBase环境搭建和使用（使用了两台Centos7的虚拟机）一.检查、安装java，设置JAVA_HOME1.下载并解压JDK2. 配置环境变量二.配置SSH免密登录1.生成ssh-key（两台虚拟机都要生成）2.实现免密登录三.下载zookeeper、Hadoop、hbase1.zookeeper2.Hadoop3.hbase四.解压、配置zookeeper，启动，jps看状态1.解压2.配置3.启动五.解压、安装、配置hadoop，分发到其他节点，启动，jps看状态1.解压2.配置3.分发4.启动六.解
hbase环境搭建及使用
fanghailiang2016的博客
07-08 159
conf/hbase-env.sh export JAVA_HOME=/data/home/software/jdk1.8.0_202 export HBASE_MANAGES_ZK=false hbase-site.xml <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/mustafa/.hadoop/hbase/tmp</v
6.4实训任务 HBase的搭建与使用
c_lanxiaofang的博客
05-09 1485
前期准备： 1、检测Java安装环境 java -version 2、检测Hadoop安装环境 hadoop version 3、进入hadoop 的 /home/bigdata/Opt/hadoop-2.10.1/sbin 目录后： cd /home/bigdata/Opt/hadoop-2.10.1/sbin 4、启动 start-dfs.sh 服务 start-dfs.sh 5、查看启动的服务 jps 1、官网下载HBase Apache
大数据之HBase搭建与命令 完整使用 (第二章)
小坏说后端
11-19 447
大数据之HBase搭建与命令一、HBase 安装部署1.1 Zookeeper 正常部署1.2 Hadoop 正常部署1.3 HBase 的解压1.4 HBase 的配置文件1）hbase-env.sh 修改内容2）hbase-site.xml 修改内容3）regionservers4）软连接 hadoop 配置文件到 HBase1.5 HBase 远程发送到其他集群1.6 HBase 服务的启动1．启动方式2．启动方式 21.7 查看 HBase 页面二、HBase Shell 操作2.1 基本操作1．进
hbase安装和使用
04-23
本资源为hbase的安装和使用，内含hbase安装工具包，hbase的安装说明，hbase的使用说明 。
Hbase的基础入门与安装使用
qq_44779847的博客
07-15 287
第 1 章 HBase 简介 1.1 HBase 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 HBase 数据模型 逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。 但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。 1.2.1 HBase 逻辑结构 1.2.2 HBase 物理存储结构 1.2.3 数据模型 1）Name Space 命名空间，类似于关系型
04、Hbase介绍及搭建
小菜菜的博客
06-24 707
HBase是一个分布式的、面向列、非关系型的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，不适用于提供实时计算； HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上HBase HRegion servers集群中的所有的region的数据在服务器启动时都是被打开的，相应的这就在一定程度上加快系统响 应；而Hadoop中的block中的数
HBase安装与基础应用
weixin_45793065的博客
06-15 299
文章目录HBase简介数据模型HBase 基本架构安装HBase配置HBase数据存储于hadoopHBase Shell 操作1、基本操作2、表操作 HBase简介 HBase一Hadoop Database，是-一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PCServer.上搭建起大规模结构化存储集群。HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。 •HBase
hbase-server-1.1.3-API文档-中文版.zip
05-02
赠送jar包：hbase-server-1.1.3.jar； 赠送原API文档：hbase-server-1.1.3-javadoc.jar； 赠送源代码：hbase-server-1.1.3-sources.jar； 赠送Maven依赖信息文件：hbase-server-1.1.3.pom； 包含翻译后的API文档：hbase-server-1.1.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.hbase:hbase-server:1.1.3； 标签：server、apache、hbase、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
4 HBase搭建
Shane_Cheng0202的博客
07-27 542
HBase搭建(ubuntu版本) 安装包 https://pan.baidu.com/s/1wORXDbIgYV_yNrD71HotPg 提取码：qrww 安装过程 建议浏览一遍注意事项，帮助遇到和我一样的相关问题可以节省时间，而不是直接重装系统。 虚拟机搭建 1、 选择创建虚拟机。（Ubuntu或centOs自行选择，在配置时有细微差异） 2、 选择镜像创建虚拟机。 3、 使用默认配置进行设置。 用户名可以更改，在后面的设置过程中注意文件路径的更改。 4、 部分PC可能会出现没有权限的问题。
大数据入门--HBase（一）环境搭建&常见命令
书山有路，学海无涯
07-22 819
集群环境搭建 准备工作 Hbase依赖zookeeper，所以需要先搭建zookeeper，参考此文 Hbase对时间同步要求较高，建议使用ntp做时间同步，参考此文：ntp服务安装 安装 当前安装版本为：hbase-1.3.1 1. 解压安装包 tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/ cd /opt/module/hbase-1.3.1 2.修改配置文件 hbase-env.sh 添加 export JAVA_HOME=/opt/module
【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装(1)
最新发布
2401_84166497的博客
05-03 3282
因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN，而且HBase的各个版本都会对Hadoop的版本有一定的要求。在Zookeeper中，需要配置Zookeeper集群，以支持HBase的分布式环境下的协调和管理。其中，@后面的参数是集群的名称，冒号后面的参数是目标路径。进入hbase配置文件路径，编辑hbase-env.sh配置文件，然后把以下圈起来的两行给注释掉，就不会报错了。输入以下命令，编辑/etc/hosts文件，修改ip映射，所有集群都要改，与前面修改好的ip一致。
HBase HBaseServer实现
meiye的专栏
11-25 601
1. HBaseServer创建后有几个重要的角色.    1.1 Listener deamon线程,负责接收HMaster,HRegionServer,HBase Client的http请求.    1.2 Responder demon线程,负责将处理完的请求,发送回调用者.    1.3 Connection listener接收到的每个Socket请求都会创建一个Connectio
8. Hadoop Hbase服务
.
06-02 377
hadoop hbase操作
HBase系统架构
weixin_34380296的博客
07-11 450
1 HBase整体架构 1.1 HMaster 1.2 HRegionServer 2 HBase 客户端读数据流程分析 3 HBase 客户端写数据流程分析 4 HBase服务端读数据流程分析 5 HBase服务端写数据流程分析 6 HBase服务端删除和increase操作 7 Region分裂和合并问题分析 8 HBase主备集群数据同步分析 分享...
Hbase 源码分析——Server
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-14 238
Hbase是kv存储，但是逻辑上我们可以把存储在hbase上的kv数据当成表，rowkey可以认为是表的主键。为了便于分布式操作，hbase会把表横向切分成一块一块的数据，而每块就是一个Region。为了提供在线服务，我们必须把Region加载到集群中的某台机器上，这个加载的过程正是region assign要做的。顺便说一句，hbase中把表切分region和HDFS中文件切分成block，Sp...
Hbase 操作时出现：Server is not running yet
06-10 5209
解决办法 解决办法： 启动Hadoop 输入指令：hadoop dfsadmin -safemode leave 出现该问题的原因是：hadoop处在安全模式下。所以hbase的操作会出现异常。 造成此问题的故障是：在没有退出旧版Hbase的情况下，擅自将其删除，然后按照了新版本的Hbase，HADOOP会自动进入安全模式。 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

后端码匠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值