HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用

本文链接：https://blog.csdn.net/kalaamong/article/details/7324894

本文详细介绍了HBase写入性能改造的过程，包括多网卡绑定解决网络瓶颈，调整HBase参数如MemStore设置以优化写入通量，以及探讨了压缩卡对性能的影响。通过优化，最终实现了17W行/秒的写入性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先续上篇测试：

经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。

本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。

上篇测试内容：

详情　http://blog.csdn.net/kalaamong/article/details/7275242。

测试数据　http://blog.csdn.net/kalaamong/article/details/7290192

同时上一篇中除压缩卡之外的代码改动被整理成patch放到了git上。打上patch修改参数之后写入随便压到7至8万应当都是没问题的。感谢某试用过的童鞋。

https://github.com/ICT-Ope/HBase.0.90.4_Put_Throughput_Improvement

一个简单的Read Me:

Changes:
* Add multi-thread flush and compaction to HBase-0.90.4
* One HBase client process could use more than one connection to contact with one RegionServer
* Disable Auto Split. !!be careful!! The split version is available.
New Configurations:
* hbase.hstore.flush.thread 20
  the number of flush thread
* hbase.hstore.compaction.thread 5
  the number of compaction thread
* hbase.hregion.memstore.flush.block.size 120000000
  if region size reach this number, updates of this region will be blocked
* client.connection.number 10
  connection number of one client process to one RegionServer

Recommended Configuration (for load test or for mainly writing workload)
* ipc.server.read.threadpool.size 40
* hbase.server.thread.wakefrequency 500
* hbase.hstore.blockingStoreFiles 20000000