让数据中台飞起来—— Quick BI性能优化解决方案及实践

Quick BI“数据门户”在企业数据中台建设中的重要性
企业在数据中台初步建设完成以后，怎样让客户直观感受到数据中台的价值？企业决策者、各部门管理人员、业务运营人员如何通过统一的窗口，快速看到数据中台提供的数据，并利用这些数据全方位的支持企业发展？
基于Quick BI构建的企业数据门户，有效的解决了上述问题。
Quick BI“数据门户”是数据中台提供给业务人员使用的门户和窗口，以场景化分析的方式，为企业各类人员和角色，提供统一的可视化服务。作为真正触达用户的可视化工具，Quick BI“数据门户”在企业数据中台建设中的重要性尤为突出。

为什么要对Quick BI进行优化？
企业数据中台建设完成后，数据中台作为企业统一数据的“供给方”，越来越多的部门和业务人员会成为“需求方”，希望通过数据中台的数据支持业务。随着“需求方”越来越多，并发要求越来越高，作为统一入口的Quick BI数据门户的压力随之越来越大。因此，随着数据中台在企业内推广和使用的逐步深入，需要对Quick BI进行全面优化，以满足不断增长的业务需要。

本文旨在说明的问题本篇文章基于实际客户案例中Quick BI性能优化的实践探索，总结提出数据中台建设中的测试方法和性能优化解决方案，抛砖引玉，供其他类似项目参考。

典型的数据中台技术架构

基于阿里云数据中台整体解决方案，对数据中台技术实现进行选型及设计，典型的数据中台技术架构如下图所示，整个技术架构选型包含五个层次：业务数据源存储技术、数据源接入技术、数据中台数据存储与计算技术、数据服务及数据应用技术。

数据存储计算，数据中台中离线数据存储和计算采用MaxCompute离线计算引擎；实时计算部分采用阿里云StreamCompute流式计算技术实现；数据研发与管理采用Dataphin智能数据构建与管理大数据研发平台。

数据服务层，主要分API接口和数据库服务两种方式，一般普通查询使用RDS，多维分析使用ADB，搜索服务使用ElasticSearch，在线接口使用OneService服务。

数据应用层，使用阿里云智能报表工具Quick BI实现各种定制数据报表分析需求；以及基于阿里云产品技术体系实现客户个性化数据应用需求。其中基于Quick BI产品的数据中台门户如图中橙色部分所示。

Quick BI压测方法

1、压测目标
Quick BI数据中台门户压测目标主要围绕着两类发布变更和用户体验反馈，提前做好：性能卡点、性能调优工作，满足日常客户报表的极致体验、以及性能特殊诉求。

两个卡点：
1）压测，保障上线内容无性能问题以及隐患
2）新的报表上线时，需要对新上线报表进行简单压测，避免单一报表导致整个系统性能出现瓶颈。

一个检查点：
当客户直观使用感受数据中台门户报表显示过慢时，对系统整体压测，检查性能瓶颈点进行优化。
从而保障数据中台门户满足客户日常报表可视化性能需求。

2、压测策略

1）压测环境
Quick BI数据中台门户通常在客户现场只有正式环境，Quick BI门户页面压测接口全为查询类请求，压测执行不会对线上数据造成污染。当然为了避免影响线上用户，会在用户低峰期如凌晨节点执行压测。大部分项目数据门户环境如下：