语义化与自动化——第三代指标平台两大核心能力详解(内含Q&A)

【作者简介】杜雪芳,Aloudata 合伙人兼首席业务架构师。12 年数据业务从业经验,3 年管理咨询经验。历任阿里集团淘宝商业分析负责人、阿里音乐商业智能中心负责人、蚂蚁集团用户增长分析与洞察产品负责人。在数据体系搭建、数据分析、用户标签建设、用户洞察、用户增长等方面,拥有丰富的数据驱动业务实践经验。

01 指标平台的演进趋势与第三代指标平台的定义

近几年,指标平台这一概念愈发受到关注,去年以来尤甚。究其原因,主要是随着数字化转型深入开展,企业的数据需求发生了变化。由最初的面向高层的数字化管理,转变为现在针对前线业务人员的数智化运营。在这一转型过程中,我们注意到许多企业渴求运用数据进行分析和洞察,借此寻找新的增长空间。在这个阶段,数据分析的灵活性与实时性尤为关键。

另外,所有大型企业都在讨论数据民主化议题。数据民主化的关键在于确保基层业务人员能够充分获取和利用数据,而对于 IT 团队、CIO 和 CDO 来讲,数据的准确性和标准化则构成了数据民主化的坚实基础。缺乏此基石,数据民主化不仅无法实现,甚至可能为企业带来更深层次的问题。在数据民主化的推进过程中,管理层、业务侧以及 IT 侧均面临各自挑战,包括数据烟囱、信息孤岛以及指标定义不一致等问题。我们观察到,面对数据需求的演变,企业通常采取两种响应模式:一种是数仓 ETL 驱动模式,一种是 BI 驱动模式。

所谓 ETL 驱动模式,其核心是由 ETL 工程师负责响应业务需求。在业务部门提出需求后,ETL 工程师会根据这些需求,在数据仓库中开发表模型,并构建各类汇总表及宽表。这种模式的优势在于,如若企业的数据仓库建设得当,大家都按照一定的管理规范开发,便能实现集中化的数据管理与开发。然而,这样的模式也存在一些弊端:

  • 开发响应速度迟缓,需要等待 ETL 工程排期;
  • 在满足不同业务需求时,不同的 ETL 工程师可能会针对同一指标采用不同加工口径,导致数据结果的不一致;
  • 所产出的报表是静态的,难以灵活应对业务需求的变更。

为了应对上述挑战,一些企业转向了 BI 驱动模式。在这种模式下,分析师和业务人员可以自助完成分析,通过BI工具的 ETL 工具或者自定义 SQL,创建大量个性化的数据集。这一做法的优点是反应迅速,无须依赖 IT 排期开发,用户可以独立进行数据处理和分析。然而,此模式同样存在诸多问题:

  • 不同数据集的指标口径混乱。由于指标分散在不同的数据集中,缺乏统一规范,导致业务逻辑在多个数据集间缺乏一致性。
  • 指标难以复用。特定指标往往仅在某一报表或 BI 工具中存在,这限制了指标在不同 BI 工具或报表之间的共享能力。
  • 数据治理成本高,维护难度大。分析师和业务人员仅关注于特定业务场景下的数据处理,从而增加了 IT 团队和数据平台部门在数据治理上的难度及成本。

如何既能满足响应速度又能确保数据有序?构建一个统一的指标平台是最优解。指标平台能够沉淀统一的指标语义,并实现指标的管理与研发一体化。通过这一平台,各个业务团队可以借助统一的指标语言进行交流,从而减少了之前业务团队、分析师团队与 ETL 工程师之间的沟通误解。所谓“车同轨,书同文”,统一的语言有助于消除理解上的偏差。 此外,指标平台也能弥合 IT 部门与业务部门之间的鸿沟。业务化的表达方式简化了沟通过程,业务人员不必再深究数据库表和字段的具体细节,只需理解指标本身即可。因此,指标平台成为平衡指标一致性和分析灵活性的理想选择。我们看到很多企业都希望通过建设指标平台,来达成快速响应与规范性的平衡。在这个过程中,指标平台也经历了三代的演变。

第一代指标平台的核心任务是从传统的 Excel 和文档维护转向指标登记与管理,旨在将线下的 Excel 数据实现系统化、在线化以及信息化。然而,我们发现该代指标平台未能克服研发与管理的割裂问题。指标研发工作依旧在数仓进行,而指标管理平台只负责登记结果。业务用户仍需关注具体的表和字段,且以单一表格、字段的方式进行数据消费。因此,第一代指标平台的问题可概括为管用分离以及管研分离,物理实现与业务含义仍存在断裂,因此无法保证指标口径的统一。

鉴于此,市场上出现了多家独立的指标平台供应商,这些我们称之为第二代指标平台。第二代指标平台实现了在平台上统一管理指标,并确保最终下游业务场景采用指标形式进行消费。由此,指标的管理与使用达到了一体化,相比之前有了显著进步。

然而,不少企业采用第二代指标平台后,在落地过程中遇到了挑战:在真实的企业环境里,许多指标的生成并非仅通过 SUM、COUNT 等简单函数完成,它们可能涉及复杂的计算,或需处理表与表之间的复杂关联。在真实的场景中,第二代指标平台通常仅能覆盖大约 20% 的指标定义与开发建设需求,大多数指标仍然要回到数仓加工,

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值