Hbase
关注
分享
扫一扫
文章平均质量分 95
jast_zsh
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hbase Shell 介绍
目录Scan创建表Count清空表数据删除数据删除表删除列簇判断表是否为‘enable’插入Region管理Scan查询某个表某个列的数据：scan 'tableName',{COLUMN=>列族：列,LIMIT=>需要查看条数}指定开始Rowkey查询scan 'tableName',{STARTROW=...原创 2018-10-12 10:44:49 · 8472 阅读 · 0 评论
-
Canal Mysql binlog 同步至 Hbase ES
一、Canal介绍早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x原创 2021-09-20 13:49:34 · 1091 阅读 · 1 评论 -
Hbase Shell Filter 过滤
Get 和 Scan 操作都可以使用过滤器来设置输出的范围，类似于 SQL 里面的 Where 查询条件。使用 show_filters 命令可以查看当前 HBase 支持的 过滤器类型。show_filters使用过滤器的语法格式：scan '表名',{Filter => ”过滤器(比较运算符,’比较器’)”}解释：Filter=>指明过滤的方法,整体可用大括号引用,也可以不用大括号。过滤的方法使用双引号引用,而比较方式用小括号引用。行键过滤器:1.Row.转载 2020-09-21 13:48:33 · 3197 阅读 · 0 评论 -
Hbase 协处理器之将数据保存到es （二级索引）
利用Hbase Coprocessor 实现将插入hbase中的数据保存至ElasticSearch中，实现二级索引目的版本：Hbase： 2.1ES：6.3.0一、Coprocessor代码开发协处理器类package wiki.hadoop.coprocessor;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hba原创 2020-08-13 09:09:05 · 1425 阅读 · 4 评论 -
HBase原理 – snapshot 快照
目录snapshot（快照）基础原理snapshot能实现什么功能？hbase snapshot用法大全hbase snapshot分布式架构－两阶段提交snapshot核心实现clone_snapshot如何实现呢？其他需要注意的参考文献更多信息可参考《Hbase原理与实战》第十一章 备份与恢复snapshot（快照）基础原理snapshot是很多...转载 2020-06-09 20:06:10 · 1414 阅读 · 0 评论 -
Hbase 2.x Region in transition (永久RIT) 异常解决
环境Hbase版本：2.0问题原因hbase长时间出现RIT，并且发生RIT的Region是已经删除了的Hbase表，表未删除的情况下执行assgin可以消除该问题Hbase Region in transition (RIT) 异常解决：https://datamining.blog.csdn.net/article/details/83012500表删除后，执行a...原创 2020-03-13 11:02:04 · 3381 阅读 · 6 评论 -
Hbase Compaction 队列数量较大分析
问题前几天朋友公司Hbase集群出现Compaction队列持续处于比较大的情况，并且mem flush队列也比较大，一起看了下问题，大概情况如下图从图中可以看出来压缩队列总和持续在1000-2000，平对压缩队列在200左右，刷新队列也比较高，当然压缩队列高的原因就是因为我们 MemStoreFlush比较频繁，导致写入的StoreFile数量增加，触发了Compcation。...原创 2020-03-13 08:36:22 · 4128 阅读 · 1 评论 -
Hbase Compaction 源码分析 - CompactSplitThread 线程池选择
目录CompactSplitThreadrequestCompactionInternal方法selectCompaction方法requestCompaction方法其他相关文章Hbase Compaction 源码分析 - CompactionCheckerHbase Compaction 源码分析 - RatioBasedCompactionPolicy ...原创 2020-03-07 17:25:44 · 5321 阅读 · 0 评论 -
Hbase Compaction 源码分析 - RatioBasedCompactionPolicy 策略
目录RatioBasedCompactionPolicyneedsCompaction 方法isMajorCompaction 方法shouldPerformMajorCompaction 方法selectCompaction方法getCurrentEligibleFiles方法skipLargeFiles方法createCompactionRequest...原创 2020-03-07 11:21:54 · 844 阅读 · 0 评论 -
Hbase Compaction 源码分析 - CompactionChecker
CompactionChecker介绍：RegionServer会在后台启动一个线程CompactionChecker，定期触发检查对应Store是否需要执行Compaction，检查周期为hbase.server.thread.wakefrequency*hbase.server.compactchecker.interval.multiplier。和flush不同的是，该线程优先...原创 2020-03-07 11:18:12 · 1256 阅读 · 1 评论 -
Hbase JMX 监控 - Region
获取监控信息页面：http://regionServerName:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Regions*** 为前缀代表：Namespace_${namespace}_table_${tableName}_region_${regionName}原创 2020-03-03 11:11:09 · 3645 阅读 · 0 评论 -
Hbase 预写日志WAL处理源码分析之 LogCleaner
目录Hlog WALs和oldWALs整体流程HMaster 初始化定时执行LogCleaner日志清理类ReplicationLogCleaner 日志清理类总结Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlog删除的规则HLog失效：写入数据一旦从MemStore中刷新到磁盘，HLog（默认存储目录在/hbase/WALs...原创 2020-01-19 16:54:06 · 4498 阅读 · 3 评论 -
Hbase RegionServer 启动失败 Time difference of xxx ms > max allowed of 30000ms
Hbase RegionServer 启动报错异常如下：STOPPED: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hostname13,16020,1576647671625 has been rejected; Reported time is too far out of sync wit...原创 2019-12-19 19:28:31 · 679 阅读 · 0 评论 -
CDH 6 安装 Hbase 二级索引 Solr + Key-Value Store Indexer
目录一、集群安装Solr +Key-Value Store Indexer二、创建Hbase二级索引1.更改表结构，允许复制2.创建相应的SolrCloud集合3.创建 collection实例并将配置文件上传到 zookeeper4.创建 Lily HBase Indexer 配置5.配置Morphline文件6.注册 Lily HBase Indexer ...原创 2019-12-17 13:56:06 · 1103 阅读 · 0 评论 -
Hbase 查看 rowkey在哪个region中
首先我们先了解下 hbase:meta 表，hbase是指的namespace，meta是表名，这张表存储的是整个集群的Region信息。 hbase:meta表的一个rowkey对应一个region，rowkey设计如下: 表名,region的startRowkey,region创建时的时间戳,EcodedName例：...原创 2019-11-09 10:32:25 · 3527 阅读 · 0 评论 -
Hbase Region in transition (RIT) 异常解决
查看Hbase状态，突然发现出现了RIT，并且很长时间了~查看了一些相关RIT介绍 （部分介绍和Hbase2.0不同，如：RIT状态信息2.0已不在zookeeper保存）https://mp.weixin.qq.com/s?__biz=MzU5OTQ1MDEzMA==&mid=2247483940&idx=1&sn=4121aa1bd7ef188ccc2d9...原创 2018-10-11 14:56:35 · 21495 阅读 · 0 评论 -
Phoenix 原理 以及 Phoenix在HBase中的应用
一、前言业务使用HBase已经有一段时间了，期间也反馈了很多问题，其中反馈最多的是HBase是否支持SQL查询和二级索引，由于HBase在这两块上目前暂不支持，导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL，但业界还是有现成的方案来支持，如Hive、Impala、Phoenix等。众多方案各有各的优势，本文主要对Phoenix作一个大概的介绍。Ph...转载 2019-08-02 11:20:16 · 2568 阅读 · 0 评论 -
phoenix 使用详细介绍 创建二级索引
phoenix 关联hbase 基本使用参考：https://blog.csdn.net/zhangshenghang/article/details/97491597Phoenix 创建二级索引hbase中有表test_article ,在表空间 test_ns ,列簇 fn 下有字段 url , text , uid ,name 连接phoenix phoenix-sqll...原创 2019-08-02 14:32:45 · 1017 阅读 · 0 评论 -
Kerberos Hbase Api 操作
初始化连接加载配置参数，这里只创建连接，具体操作hbase的api没有变化static { try{ Configuration conf = HBaseConfiguration.create(); conf.addResource(new Path( "config/hbase-site.xml"));//读取配置文件 ...原创 2019-08-09 11:10:51 · 1190 阅读 · 0 评论 -
Hbase WALs(HLog) 文件存储，查看
WALs(HLog) 存储HLog 存储位置是在，hbase配置目录下WALs目录，默认为 /hbase/WALs 与 /hbase/oldWALs/hbase/WALs : 存储未过期的日志/hbase/oldWALs : 存储已过期的日志这里先查看WALs日志目录，目录格式为：hostname1 为 服务器hostname ， 16020 为hbase 端口，15617...原创 2019-08-14 14:21:46 · 5822 阅读 · 3 评论 -
Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本
windows 下编译 hbase源码，报错[ERROR] Command execution failed.java.io.IOException: Cannot run program "bash" (in directory "D:\File\ideaWorkspace\hbase-1.4.10-src\hbase-1.4.10\hbase-shaded\hbase-shaded-...原创 2019-09-09 16:21:59 · 1237 阅读 · 0 评论 -
Hbase 删表过程
Hbase 执行删表命令后(drop)，表的数据会移动到 /hbase/archive 目录下，并不会直接从hdfs删除，后台会有进程定期去检查（默认五分钟），如果这张表没有快照则会删除，有快照会保留数据。刚drop时，目录下有数据过几分钟，除了快照的数据其他均已删除...原创 2019-10-09 11:24:57 · 1337 阅读 · 0 评论 -
HBase ACL管理 Hbase 权限管理
场景：hadoop集群已经进行kerberos认证启动Hbase相关配置Hbase权限分为以下五种：Read(R) : 可以读取给定范围内数据的权限Write(W) : 可以在给定范围内写数据Executor(X) : 可以在指定表执行Endpoints类型的协处理Create(C) : 可以在给定范围内创建和删除表（包括非该用户创建的表）Admin(A) : 可以...原创 2019-08-08 16:50:02 · 17322 阅读 · 0 评论 -
Phoenix 关联查询异常 ， MaxServerCacheSizeExceededException phoenix.query.maxServerCacheBytes
参数配置说明：http://phoenix.apache.org/tuning.htmlJoin：http://phoenix.apache.org/joins.html从设计角度来讲，尽可能的不使用phoenix进行关联查询，速度比直接根据条件查询慢很多很多测试关联，异常如下Error: Encountered exception in sub plan [0] execu...原创 2019-08-01 16:50:03 · 2516 阅读 · 0 评论 -
Hbase 2.0 RegionObserver使用
参考：http://hbase.apache.org/2.0/book.html#cp Hbase2.0 不支持 1.x版本的RegionObserver ，查看hbase官网更新说明，自己做了测试并通过Hbase RegionObserver import java.io.IOException;import java.util.List;import java.ut...原创 2018-10-22 17:31:23 · 17341 阅读 · 1 评论 -
Hbase 协处理器 RegionObserver
参考链接1：https://www.cnblogs.com/ios123/p/6370724.html参考链接2：http://www.zhyea.com/2017/04/13/using-hbase-coprocessor.htmlRegionObserver注：每次更新协处理器方法，最好加上版本更新，否则可能会出现更新失败协处理器安装-表级别安装disable 'wecha...原创 2020-08-12 16:18:06 · 634 阅读 · 0 评论 -
Hbase二级索引+CDH+Lily
1.更改表结构，允许复制已存在的表disable 'tableName'alter 'tableName',{NAME =>'fn', REPLICATION_SCOPE =>1}enable 'tableName'不存在的表create ‘table‘,{NAME =>‘cf‘, REPLICATION_SCOPE =>1}#其中1表示开启replicati...原创 2018-09-30 16:25:27 · 20047 阅读 · 0 评论 -
Hbase PageFilter 取出数量不准确问题
PageFilter pf = new PageFilter(pageFilterSize);filterList.addFilter(pf);PageFilter：设置获取的数据行数 PageFilter作用在region上，只能保证当前region返回相应的数量，也就是说大概可理解为 region数量*pageFilterSize...原创 2018-10-09 09:55:24 · 12243 阅读 · 5 评论 -
CDH - 启动HbaseMaster时异常
测试环境 CDH,启动HbaseMaster时，启动失败，提示无法split WALs目录下的数据。解决方法：删除WALs里的数据解决该问题（数据如不可恢复勿用该方法），重启成功2018-09-14 14:43:07,254 WARN org.apache.hadoop.hbase.coordination.SplitLogManagerCoordination: Error split...原创 2018-09-14 14:55:10 · 3429 阅读 · 0 评论 -
Hbase Memstore刷新方式与Region的数目上限
目录Region数目上限Region大小上限MemStore的刷新方式HLog (WAL) Size & Memstore Flush频繁的Memstore FlushesRegion数目上限RegionServer的region数目取决于memstore的内存使用，每个region拥有一组memstore（memstore的数量有hstore决定，hstore...原创 2018-09-17 16:59:46 · 64212 阅读 · 0 评论 -
HBase BlockCache系列 － 探求BlockCache实现机制
转载自：http://hbasefly.com/2016/04/26/hbase-blockcache-2/HBase BlockCache系列第一篇文章《走进BlockCache》从全局视角对HBase中缓存、Memstore等作了简要概述，并重点介绍了几种BlockCache方案及其演进过程，对此还不了解的可以点这里。本文在上文的基础上深入BlockCache内部，对各种BlockCa...转载 2018-09-17 16:34:05 · 33911 阅读 · 0 评论 -
Hbase1.2数据导入2.0
场景：现有一批之前导出的数据，发现2.0版本hbck工具更新，无法直接导入，跨机房使用export/import方式需要重新外网传输数据比较耗时，现搭建临时hbase版本1.2，在同机房进行export/import方式数据导入hbase1.2版本 CDH默认hbase用户是不可登录，修改权限，使其可登录(完成操作后记得改回来)##这里没有全部显示[root...原创 2018-09-11 15:17:36 · 1630 阅读 · 2 评论 -
Hbase 表名修改
禁用表：disable 'ods_temp:artcile_tableName'快照生成：snapshot 'ods_temp:artcile_tableName', 'artcile_tableName_Snapshot'克隆快照为新的名字：clone_snapshot 'artcile_tableName_Snapshot', 'ods_temp:article_tableName...原创 2019-01-11 15:02:12 · 1047 阅读 · 0 评论 -
HBase 2.0 之修复工具 HBCK2 运维指南
HBase 2.0 之修复工具 HBCK2 运维指南转载自：https://mp.weixin.qq.com/s/GVMWwB1WsKcdvZGfvX1lcA?spm=a2c4e.11153940.blogcont683107.11.49d762a815MegW概述 目前社区已经发布了 HBase 的 2.0 版本，很多公司都希望去尝试新版本上的新功能，但是不得不面对...转载 2019-01-07 14:58:27 · 16999 阅读 · 0 评论 -
phoenix 创建索引超时 Operation timed out
0: jdbc:phoenix:xxx:2181:/hbase> CREATE INDEX MY_INDEX_URL_2 ON "xxx"."xxx" ("fn"."name") INCLUDE("fn"."url","fn"."text");Error: Operation timed out. (state=TIM01,code=6000)java.sql.SQLTimeoutEx...原创 2019-08-01 13:58:39 · 17894 阅读 · 0 评论 -
Phoenix 关联映射 Hbase表 获取不到数据，upsert hbase 列名为16进制字符
创建Hbase表create 'phoenix_hbase_test','cf1','cf2'put 'phoenix_hbase_test', 'key1','cf1:name','zhangsan'put 'phoenix_hbase_test', 'key1','cf2:age','18'put 'phoenix_hbase_test', 'key2','cf1:name',...原创 2019-07-27 14:39:50 · 1880 阅读 · 0 评论 -
Phoenix 关联hbase表历史数据
Phoenix 基本使用进入Phoenix phoenix-sqlline.py 10.248.161.18:2181:/hbase或者进入目录下执行cd /opt/cloudera/parcels/APACHE_PHOENIX/bin关联Hbase原有表创建Hbase表，列簇为 cf1 , cf2create 'phoenix_hbase_test','cf1'...原创 2019-07-27 14:25:11 · 1025 阅读 · 0 评论 -
CDH 5.13.0 集成 Phoenix
1.下载Phoenixhttp://phoenix.apache.org/download.html找到对应版本点击parcels (cdh可安装版本)http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/下载好这三个文件-rw-r--r-- 1 root root 36...原创 2019-07-27 10:15:21 · 694 阅读 · 0 评论 -
phoenix创建索引报错“ Mutable secondary indexes must have the hbase.regionserver.wal.codec property”
phoenix 创建hbase表索引时异常，报错如下Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCode...原创 2019-07-31 14:49:17 · 2310 阅读 · 0 评论 -
Ensure that config phoenix.schema.isNamespaceMappingEnabled is consistent on client and server
Phoenix链接异常，客户端服务端配置不一致 isNamespaceMappingEnabled原创 2019-07-31 10:34:11 · 5390 阅读 · 3 评论