107.HBase之Endpoint Coprocessor的调用

于 2022-02-28 09:47:25 发布
阅读量594 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop 文章标签： hbase java hadoop
@大勇若怯任卷舒
本文链接：https://blog.csdn.net/m0_47454596/article/details/123175504

Endpoint Coprocessor客户端调用过程：

107.1 演示环境介绍

  • CM版本：5.14.3
  • CDH版本：5.14.3
  • 编写示例代码及运行为Java

107.2 操作演示

HBase中自带的Endpoint的协处理器，所以首先确认hbase-examples-1.2.0-cdh5.14.2.jar是否在

[root@ip-168-31-8-230 lib]# pwd
/opt/cloudera/parcels/CDH/lib/hbase/lib
[root@ip-168-31-8-230 lib]# ll hbase-examples-1.2.0-cdh5.14.2.jar

生成TestTable测试表及数据

[root@ip-168-31-8-230 ~]# hbase pe --rows=10000000 randomWrite 1
  • 登录CM进入HBase服务进行配置
    • 配置自定义的Endpoint类,因为Endpoint类型的Coprocessor运行在HBase 的RegionServer中，所以这里只需要配置HBase Coprocessor Region类
    • 在这里的配置为全局配置，协处理器有两种使用方式上图的方式是其中的一种，另外一种则是对单个表进行修改
org.apache.hadoop.hbase.coprocessor.example.RowCountEndpoint

  • pom.xml文件内容如下
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>cdh-project</artifactId>
        <groupId>com.cloudera</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>hbase-demo</artifactId>
    <packaging>jar</packaging>
    <name>hbase-demo</name>
    <url>http://maven.apache.org</url>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-cdh5.11.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0-cdh5.11.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.0-cdh5.11.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-examples</artifactId>
            <version>1.2.0-cdh5.11.2</version>
        </dependency>
    </dependencies>
</project>
  • CoprocessorExample.java类，编写内容如下
package com.cloudera.hbase.coprocessor;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.coprocessor.Batch;
import org.apache.hadoop.hbase.coprocessor.example.generated.ExampleProtos;
import org.apache.hadoop.hbase.ipc.BlockingRpcCallback;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
import java.util.Map;
import java.util.concurrent.atomic.AtomicLong;
/**
 * package: com.cloudera.hbase.coprocessor
 * describe: 客户端如何调用自定义的corprocessor类，Endpoint类型，该示例代码中介绍了几种调用的方式，以及各种调用方式的效率
 * creat_user: Fayson
 * 公众号：碧茂大数据
 */
public class CoprocessorExample {
    public static void main(String[] args) {
        //初始化HBase配置
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.property.clientPort", "2181");
        configuration.setStrings("hbase.zookeeper.quorum", "ip-168-31-5-38.ap-southeast-1.compute.internal,ip-168-31-8-230.ap-southeast-1.compute.internal,ip-168-31-5-171.ap-southeast-1.compute.internal");
        try {
            //创建一个HBase的Connection
            Connection connection = ConnectionFactory.createConnection(configuration);
            Table testTable = connection.getTable(TableName.valueOf("TestTable"));
            execBatchEndpointCoprocessor(testTable);
            execEndpointCoprocessor(testTable);
            execFastEndpointCoprocessor(testTable);
            //关闭连接
            connection.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 使用batchCoprocessorService(MethodDescriptor var1, Message var2, byte[] var3, byte[] var4, R var5)的方法调用
     * 使用批量的方式，HBase会自动的将属于同一个RegionServer上的请求打包处理，可以节省网络交互的开销，效率会更高
     * @param table HBase表名
     * @return 返回表的总条数
     */
    public static long execBatchEndpointCoprocessor(Table table) {
        byte[] s= Bytes.toBytes("00000000000000000000000000");
        byte[] e= Bytes.toBytes("00000000000000000000000010");
        long start_t = System.currentTimeMillis();
        Map<byte[], ExampleProtos.CountResponse> batchMap = null;
        try {
            batchMap = table.batchCoprocessorService(
                    ExampleProtos.RowCountService.getDescriptor().findMethodByName("getKeyValueCount"),
                    ExampleProtos.CountRequest.getDefaultInstance(),
                    s,
                    e,
                    ExampleProtos.CountResponse.getDefaultInstance());
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }
        long batch_count = 0;
        System.out.println("Region Size:" + batchMap.size());
        for (ExampleProtos.CountResponse response : batchMap.values()) {
            batch_count += response.getCount();
        }
        System.out.println("方式一耗时：" + (System.currentTimeMillis() - start_t));
        System.out.println("方式一统计数量：" + batch_count);
        return batch_count;
    }
    /**
     * 通过HBase的coprocessorService(Class, byte[],byte[],Batch.Call)方法获取表的条数
     * @param table HBase 表对象
     * @return 返回表的条数
     */
    public static long execEndpointCoprocessor(Table table) {
        try {
            long start_t = System.currentTimeMillis();
            /**
             * coprocessorService(Class, byte[],byte[],Batch.Call)方法描述：
             * 参数一：Endpoint Coprocessor类，通过设置Endpoint Coprocessor类可以找到Region相应的协处理器
             * 参数二和参数三：要调用哪些Region上的服务则有startkey和endkey来决定，通过rowkey范围可以确定多个Region，如果设置为null则为所有的Region
             * 参数四：接口类Batch.Call定义如何调用协处理器，通过重写call()方法实现客户端的逻辑
             *
             * coprocessorService方法返回的是一个Map对象，Map的Key是Region的名字，Value是Batch.Call.call()方法的返回值
             */
            Map<byte[] , Long> map = table.coprocessorService(ExampleProtos.RowCountService.class, null, null, new Batch.Call<ExampleProtos.RowCountService, Long>() {
                @Override
                public Long call(ExampleProtos.RowCountService rowCountService) throws IOException {
                    ExampleProtos.CountRequest requet = ExampleProtos.CountRequest.getDefaultInstance();
                    BlockingRpcCallback<ExampleProtos.CountResponse> rpcCallback = new BlockingRpcCallback<>();
                    rowCountService.getKeyValueCount(null, requet, rpcCallback);
                    ExampleProtos.CountResponse response = rpcCallback.get();
                    return response.getCount();
                }
            });
            //对协处理器返回的所有Region的数量累加得出表的总条数
            long count = 0;
            System.out.println("Region Size:" + map.size());
            for(Long count_r : map.values()) {
                count += count_r;
            }
            System.out.println("方式二耗时：" + (System.currentTimeMillis() - start_t));
            System.out.println("方式二统计数量：" + count);
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }
        return 0l;
    }
    /**
     * 效率最高的方式，在方式二的基础上优化
     * 通过HBase的coprocessorService(Class, byte[],byte[],Batch.Call,Callback<R>)方法获取表的总条数
     * @param table HBase表名
     * @return 返回表的总条数
     */
    public static long execFastEndpointCoprocessor(Table table) {
        long start_t = System.currentTimeMillis();
        //定义总的 rowCount 变量
        AtomicLong totalRowCount = new AtomicLong();
        try {
            Batch.Callback<Long> callback = new Batch.Callback<Long>() {
                @Override
                public void update(byte[] region, byte[] row, Long result) {
                    totalRowCount.getAndAdd(result);
                }
            };
            table.coprocessorService(ExampleProtos.RowCountService.class, null, null, new Batch.Call<ExampleProtos.RowCountService, Long>() {
                @Override
                public Long call(ExampleProtos.RowCountService rowCountService) throws IOException {
                    ExampleProtos.CountRequest requet = ExampleProtos.CountRequest.getDefaultInstance();
                    BlockingRpcCallback<ExampleProtos.CountResponse> rpcCallback = new BlockingRpcCallback<>();
                    rowCountService.getKeyValueCount(null, requet, rpcCallback);
                    ExampleProtos.CountResponse response = rpcCallback.get();
                    return response.getCount();
                }
            }, callback);
        } catch (Throwable throwable) {
            throwable.printStackTrace();
        }
        System.out.println("方式三耗时：" + (System.currentTimeMillis() - start_t));
        System.out.println("方式三统计数量：" + totalRowCount.longValue());
        return totalRowCount.longValue();
    }
}
  • HBase表统计效率对比
    • 使用HBase的count来统计测试表的总条数
[root@ip-168-31-8-230 ~]# hbase shell
hbase(main):001:0> count 'TestTable', INTERVAL => 1000000, CACHE => 10000
  • 使用HBase提供的MapReduce方式统计测试表的总条数
[root@ip-168-31-8-230 ~]# hbase org.apache.hadoop.hbase.mapreduce.RowCounter TestTable
  • 查看MapReduce耗时
  • 使用HBase协处理器执行测试表统计
  • 耗时统计：
  • 结论：
    • 在使用HBase的coprocessor方法是如果传入startkey和endkey是会根据rowkey的访问检索出符合条件的region并统计每个region上数据量
    • HBase的Endpoint Coprocessor协处理器可以通过CM的方式配置全局的也可以通过客户端或hbase shell的方式来指定某一个表使用比较灵活

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

Hbase总结（八）Hbase中的Coprocessor
Java海洋
10-11 3万+
1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单
HBase Coprocessor 之 endpiont(hbase 0.96.0)
奔跑吧兄弟！
04-22 3845
本文是基于hbase 0.96.0 测试的，理论上支持
使用HBase EndPoint（coprocessor）进行计算
soledede
07-02 334
如果要统对hbase中的数据，进行某种统计，比如统计某个字段最大值，统计满足某种条件的记录数，统计各种记录特点，并按照记录特点分类（类似于sql的group by）~ 常规的做法就是把hbase中整个表的数据scan出来，或者稍微环保一点，加一个filter，进行一些初步的过滤（对于rowcounter来说，就加了FirstKeyOnlyFilter），但是这么做来说还是会有很大的副作用，比...
hbase 自定义 endpoint coprocessor
xiao_jun_0820的专栏
05-27 4835
hbase 自带的AggregationClient只能对单一列族的单一列进行
Hbase Endpoint Coprocessor
tom_fans的博客
09-26 501
Endpoint Coprocessor比observer Coprocessor要复杂很多，这里不做具体解释了，大家慢慢看代码仔细琢磨。 另外此篇文章代码是从HBASE官方文档拷贝过来的。但是官方文档实际也没有给出很详细的解释。 1) 定义proto文件 // 定义常用选项 option java_package = "com.isesol.mapreduce"; //指定生成J
HBase 之五 Coprocessor 协处理器及实现案例
an_vana的博客
09-27 693
背景 ​ HBase 在作为大数据生态中的 Nosql 数据库有用非常多的优点，但是其也存在一定的缺陷例如无法简单的维护二级索引（本文会介绍及实现），求和、排序、计数等简单操作需要通过 Client 走速度较慢的 MapReduce，为了解决这些问题 HBase 提供了 Coprocessor 协处理器来让用户可以在 server 端运行自己的代码，从而可以在让用户轻松的维护二级索引，在server 端实现聚合操作等。本文基于 1.3.1 版本Hbase。 协处理器分类 Observer ​ 这
藏经阁-HBase Coprocessor-22.pdf
最新发布
08-25
4.Endpoint：终端是动态 RPC 插件的接口，它的实现代码被安装在服务器端，能够通过 HBase RPC 调用唤醒提供接口。 HBase Coprocessor 的应用场景： 1.二级索引：HBase Coprocessor 可以实现二级索引的创建和维护，...
hbase_coprocessor_hbase_coprocessorjava_源码
10-01
在HBase中，Coprocessor机制是一个强大的特性，它允许用户在HBase服务器端自定义扩展功能，如数据过滤、统计计算、访问控制等。这个压缩包“hbase_coprocessor_hbase_coprocessorjava_源码”显然包含了用Java API...
HBaseCoprocessor的实现与应用.pdf
08-29
HBase Coprocessor 为 HBase 提供了极大的灵活性和可扩展性，通过 Endpoint 和 Observer 接口，不仅可以提高数据处理的效率，还能简化复杂的业务逻辑。无论是实现高效的聚合操作还是创建和维护二级索引，Coprocessor...
HBase Endpoint编程示例
06-09 1478
Endpoint类似于关系型数据库中的存储过程，只不过这个存储过程会运行在多个Region上。 终端是动态RPC插件的接口，它的实现代码被安装在服务器端，从而能够通过HBase RPC唤醒。客户端类库提供了非常方便的方法来调用这些动态接口，它们可以在任意时候调用一个终端，它们的实现代码会被目标Region远程执行，结果会返回到终端。用户可以结合使用这些强大的插件接口，为HBase添加全新的特性。
在Hbase Endpoint Coprocessor中使用coprocessorProxy操作例子与问题解析
Michael的专栏
06-29 1221
No matching handler **** for protocol  in *** region
HBase 2.0版本协处理器 Endpoint使用
TMH_ITBOY的博客
05-13 1766
在 HBase2.0之前使用协处理器 Endpoint 时,使用的方式是实现CoprocessorService,Coprocessor这两个接口,但是在2.0版本中,这么做在 hbase regionServer的日志中显示 Endpoint 加载成功了,但是在 hbase 的 regionServer UI 界面,并没有显示已经加载的Endpoint协处理器,也没有报错日志,很头疼.同时Cop...
HBase实操 | 使用Java调用HBase的Endpoint Coprocessor
weixin_34025151的博客
11-16 379
1.文档编写目的 HBase是一款基于Hadoop的Key-Value数据库，提供了对HDFS上数据的高效随机读写服务，填补了Hadoop MapReduce批处理的缺陷，但HBase作为列簇数据库无法轻易的建立“二级索引”、难以执行求和、计数、排序等操作。在HBase0.96版本后引入了协处理器(Coprocessor)，用户可以编写运行在HBas...
HBase Endpoint
12-15 294
假设HBase某张表有1000个Region，里面存储着100万行数据，现在需要统计满足某些条件的行数，普通的做法是使用Filter(过滤条件)，通过HBase API将满足过滤条件的行数据Scan至客户端之后进行汇总，这需要在HBase RegionServer与Client之间传送大量的数据，占用大量的网络带宽，并影响响应时间。 　　这是一种典型的“移动数据”的计算方案，即将所有数据传送到计
hadoop-hbase-endpoint例子
王大壮的专栏
10-31 1967
count下users表里使用google邮箱的用户数 服务端： 先定义个接口，extends CoprocessorProtocol，接口里定义个方法public long gmailCounter(String userId) throws IOException; 再定义个类，extends BaseEndpointCoprocessor，再implements刚才自己定义的接
HBase实操 | 开发部署HBase Endpoint类型的Coprocessor
weixin_33711641的博客
11-16 292
1.文档编写目的 在前面的文章介绍了HBase自带的Coprocessor调用示例《如何使用Java调用HBase的 Endpoint Coprocessor》，本篇文章主要介绍如何开发一个HBase Endpoint类型的协处理器。 本篇文章示例协处理器主要实现了对列的Count、Max、Min、Sum以及Average。前面的文章调用Copro...
HBase Coprocessor Endpoint应用总结
iteye_11320的博客
10-15 158
也先放个提纲哈
HBase Coprocessor优化实践与原理探索
Endpoint Coprocessor主要用于实现自定义的服务，如二次索引，而Observer Coprocessor则用于监听和影响HBase操作，如过滤数据或实施访问控制。 4. **优化策略** - Region数据本地化：通过确保数据与处理数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值