Doris实战——网易互娱的应用实践

目录

一、背景

二、Apache Doris简介

2.1 FE

2.2 BE

三、集群治理

3.1  Tablet 治理

3.1.1 治理目标

3.1.2  实施计划

（1）对于现存的表

（2）对于未来新增表

3.1.3 治理收益

3.1.4 治理说明

3.2 Compaction 治理

3.2.1 问题描述

3.2.2 Compaction 参数调节

3.2.3 解决方案

3.3 集群扩缩容经验分享

3.2.2 扩容后 be 数据不均衡

3.2.3 解决方法

3.2.4 其他经验

四、监控与报警

4.1 监控系统

4.2 Blackhole 告警

五、故障处理恢复

   原文大佬的这篇Doris数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

一、背景

    随着公司游戏业务的高速发展，越来越多的分析需求涌现，例如：各类游戏用户行为分析、商业智能分析、数仓报表等。这些场景的数据体量都较大，对数据分析平台提出了很高的要求。为了解决实时分析的时效性，同时又保证数据快速写入和查询，需要一个合适的数据查询引擎补充原有的架构体系。经过大量调研，Doris比较契合网易互娱游戏数据中心的整体要求，Doris具备以下优秀特性：

• MPP 架构 + 高效列式存储引擎
• 高性能、高可用、高弹性
• 标准 ANSI SQL 支持：支持多表 Join、 MySQL 协议
• 支持预聚合：支持物化视图、支持预聚合结果自动更新
• 支持数据高效的批量写入、实时导入
• 支持数据的实时更新
• 支持高并发查询

     网易互娱于 2021年4月引入了Doris 产品，目前已经发展为多个集群，服务数十个业务，如游戏舆情分析，