StarRocks加速数据均衡

原创

已于 2024-12-05 09:26:11 修改 · 760 阅读

文章标签：

#StarRocks

于 2024-11-25 20:36:26 首次发布

文章目录

- StarRocks 加速数据均衡
- - 确认迁移情况
  - 调整参数

StarRocks 加速数据均衡

确认迁移情况

可执行 show proc ‘/cluster_balance/running_tablets’; 和 show proc ‘/cluster_balance/history_tablets’; 查看迁移tablet的情况，迁移任务是否有 err_msg

show proc '/cluster_balance/running_tablets';

show proc '/cluster_balance/history_tablets';

# 也可以在FE Web页面查看

调整参数

可以考虑调大balance相关参数，根据节点磁盘个数调整（默认一块盘8个线程）

FE leader 执行

# 查看
ADMIN SHOW FRONTEND CONFIG LIKE '%tablet_sched_slot_num_per_path%';

# 调大加速均衡【注意观察磁盘IO】
ADMIN SET FRONTEND CONFIG

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Shyllin

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

第5.1章：StarRocks升级、回滚与扩缩容

流木的博客

03-06

7121

通常来说，若项目上线后业务平稳、集群稳定，能不动系统，就不动系统！不过，StarRocks版本迭代非常迅速，不论从新功能新特性还是从稳定性和查询性能的角度考虑，官方每次发版都有新惊喜，值得我们酌情升级。也是因此，StarRocks历史版本中存在数个变动较大的版本，当我们希望跨大版本升级时，就需要使用几个过渡版本来配合升级。同样，StarRocks官网对于集群管理的介绍地址为：集群管理 @ Cluster_administration @ StarRocks...

【StarRocks系列】数据写入全流程

技术改变世界

06-21

1020

StarRocks采用✅：数据本地性 > 磁盘水位 > 节点负载。

参与评论您还未登录，请先登录后发表或查看评论

stargo缩扩容starrocks集群，实现节点服务器替换

weixin_62206215的博客

08-27

1297

在企业中可能需要，将starrocks的某一台服务器下架，换上另一台服务器，如何实现这个操作，本篇将进行介绍；

StarRocks运维篇：Nginx反向代理之StarRocks负载均衡（一）

这个人很懒。

12-06

2181

Nginx反向代理实现StarRocks负载均衡

Starrocks 数据均衡DiskAndTabletLoadReBalancer的实现

monkeyboy_tech的博客

04-18

772

其中 balanceClusterDisk balanceClusterTablet balanceBackendDisk balanceBackendTablet 分别对应上述的1 2 3 4 四点。最近在研究了一下 Starrocks的tablet的Rebalance的能力，这里进行记录一下。其中里面设计到的移动都是以 tablet Replica（副本）为单位进行移动的，,而最终的信息是来源于 BE和 FE进行交互的。本文基于 StarRocks 3.3.5。的统计信息，这个是来自于。

大数据——StarRocks 实现高可用连接以及负载均衡（Keepalived+Haproxy服务高可用，outlook邮箱使用mailx报警）

caron的博客

11-04

4176

StarRocks 实现高可用连接以及负载均衡，使用Keepalived+Haproxy实现服务自身的高可用，同时监控StarRocks，使用mailx配置outlook邮箱完成vip漂移报警

【Apache Doris】数据均衡问题排查指南

atbigapp的博客

08-30

3200

【Apache Doris】数据均衡问题排查指南

第6.4章：StarRocks查询加速——Colocation Join

爱吃辣条的博客

02-21

2265

第6.4章：StarRocks查询加速——Colocation Join

Flink-StarRocks详解:第四部分StarRocks分区管理，数据压缩(第54天)

syhiiu的博客

08-03

5023

本文为Flink-StarRocks详解后续章节：主要详解StarRocks分区分桶管理，数据压缩，由于篇幅过长，后续接着下面进行详解： StarRocks查询数据湖 实现即席查询案例。

如何使用 StarRocks 管理和优化数据湖中的数据？

Mirrorship的博客

09-09

734

同时，StarRocks 支持物化视图（同步、异步物化视图）和索引优化，用户可以通过创建物化视图来预计算并存储查询结果，并支持如主键索引、二级索引等索引类型，加速查询过程中的数据定位与过滤，提高查询效率。StarRocks 可以通过并发控制来管理多个查询请求的执行，同时，StarRocks 支持细粒度的资源管理和调度，可以根据不同的业务需求将资源分配给不同的用户或查询任务，确保资源的合理分配和使用。通过合理的分区和分桶策略，可以将数据分散到不同的节点上，减少查询时的数据扫描量，以实现负载均衡以及查询优化。

第6.3章：StarRocks查询加速——Bucket Shuffle Join

爱吃辣条的博客

02-25

2583

第6.3章：StarRocks查询加速——Bucket Shuffle Join

Doris使用及优化（1.2.6 - 2.0.2 release）

weixin_43983455的博客

05-09

9525

Doris的使用及优化经验，持续更新，欢迎投递。

StarRocks弹性伸缩：自动扩缩容与资源动态调整

最新发布

gitblog_00447的博客

08-28

941

在大数据时代，企业数据量呈现爆发式增长，业务负载波动频繁。传统的数据分析系统往往面临资源利用率低、扩容成本高、运维复杂等挑战。StarRocks作为新一代高性能分布式分析数据库，提供了完善的弹性伸缩和资源动态调整能力，帮助企业实现资源的最优配置和成本的有效控制。 ## 弹性伸缩架构设计 StarRocks采用存算分离架构，支持FE（Frontend）和BE（Backend）节点的独立扩缩容，实...

StarRocks扩展性：水平扩展与自动负载均衡机制

gitblog_00815的博客

08-28

896

StarRocks扩展性：水平扩展与自动负载均衡机制【免费下载链接】starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 ...

Flink-StarRocks详解:第三部分StarRocks分区分桶(第53天)

syhiiu的博客

08-02

3458

本文为Flink-StarRocks详解后续章节：主要详解StarRocks分区分桶由于篇幅过长，后续接着下面进行详解： StarRocks查询数据湖 实现即席查询案例需要显式列出每个 List 分区所包含的枚举值列表，并且值不需要连续，区别于包含连续日期或者数值范围的 Range 分区。当新数据导入表中时，StarRocks 会根据数据的分区列值与分区的映射关系将数据分配到相应的分区中。List 分区适用于存储具有少量枚举值列的数据、并且经常按列的枚举值来查询和管理数据的场景。

Doris磁盘均衡问题排查指南

先生一笑而起渺海阔而天高

02-27

837

在Doris集群运维中，磁盘均衡是保证数据高效存储和查询性能的关键。然而，由于数据分布不均、参数配置不当或环境异常，磁盘不均衡问题时有发生。本文将深入解析Doris磁盘均衡的优化方法、排查流程及常见问题解决方案，助你快速定位并解决问题。

深入了解 StarRocks 表类型：解锁高效数据分析的密码

qq_40025337的博客

01-04

2065

排序键可以通过。

StarRocks学习2-数据建模与表设计

sun657053178的博客

08-12

1012

层级关系，形成树形结构，通过“Catalog.数据库.表”的全称可唯一定位一个表。作用分工Catalog 解决“跨数据源访问”问题；Database 解决“表的逻辑分组”问题；Table 解决“数据存储与业务映射”问题。这种层级结构让 StarRocks 既能高效管理本地数据，又能无缝对接外部数据源，适合复杂数据架构下的统一查询和分析。类型是否存储数据是否自动更新查询加速实时性典型用途视图❌ 否❌ 否❌ 否实时查询简化 SQL、统一口径同步物化视图✅ 是✅ 是。

ClickHouse vs StarRocks：大数据分析领域的双雄对决，谁才是你的最佳选择？

全世界的博客

07-31

1465

在这场大数据分析领域的双雄对决中，ClickHouse与StarRocks各自展现出独特的优势和特点。Join处理能力是最显著的差异之一。ClickHouse虽然提供了join的语义，但对大表关联的能力支撑较弱，复杂的关联查询经常会引起内存溢出(OOM)问题。相比之下，StarRocks在join速度方面表现卓越，通过星型模型能够更好地适应维度变更，为复杂查询提供了更强大的支持。数据模型灵活性方面，ClickHouse通常采用宽表模式，在ETL过程中将事实表与维度表打平，避免在查询时进行复杂join操作。

Starrocks数据结构

08-31

Starrocks是一种开源的分布式SQL数据库，它采用了高度优化的数据结构和技术来支持高性能的查询处理。Starrocks的主要数据结构包括： 1. **行式存储** (Row Store): 数据按行组织，每个分区作为一个大的连续内存区域，这有助于快速扫描和读取整行数据，适合OLAP场景。 2. **列式存储** (Columnar Store): 列式存储将每个列单独压缩和存储，对于大数据分析，列存可以更有效地利用磁盘I/O并减少数据传输量。 3. **Bloom Filter**: 用于高效地判断数据是否存在，通过概率过滤的方式降低查找成本，提升查询速度。 4. **LSM Tree** (Log-Structured Merge Trees): 结合了顺序写入的日志文件和预排序的内存页，用于处理大量写操作，提高插入性能。 5. **Index** 和 **Bitmap Index**: 高效的索引机制，如哈希索引、B+树等，用于加速范围查询和关联查询。 6. **分区和分片** (Partitioning and Sharding): 将数据分布在多个节点上，通过分区键和范围划分提高并行度。 7. **内存池** (Memory Pool): 有效管理内存碎片，提高内存利用率。 8. **动态负载均衡** (Dynamic Load Balancing): 根据实时流量动态调整资源分配，保持系统的稳定和高可用。