4-4+基于Apache+doris的蜀海供应链数仓平台建设实践.pdf

: "4-4+基于Apache+doris的蜀海供应链数仓平台建设实践" : 本文档详细介绍了如何利用Apache Doris构建蜀海供应链的数仓平台，旨在解决原有系统架构的问题，提高数据处理效率，并满足业务的各种实时分析需求。 【部分内容】: 在2021年的DataFunSummit峰会上，北京蜀海供应链的大数据负责人张家锋分享了基于Apache Doris的供应链数仓平台建设经验。蜀海供应链作为一家综合性餐饮供应链服务企业，需要应对包括实时分析、报表、对账等多种业务需求。原有的系统架构存在数据生产链路过长、不支持标准SQL、数据冗余、聚合查询效率低以及开发成本高等问题，无法有效支持业务的发展。 为了解决这些问题，蜀海供应链选择了Apache Doris作为新的数仓架构基础。Doris具备以下关键特点： 1. 高并发点查询与高吞吐Ad-hoc查询并存。 2. 支持离线批量导入和实时数据导入。 3. 明细与聚合查询兼顾。 4. 兼容MySQL协议和标准SQL，简化数据分析师的工作。 5. 实现Rollup Table和智能查询路由，提高查询效率。 6. 支持物化视图查询路由和多表Join策略。 7. 支持Schema在线变更，增加灵活性。 8. 使用Range和Hash二级分区，优化数据组织。 基于Doris的新架构显著改善了数据链路，提高了数据实时性，并降低了数仓使用成本。数据导入方式多样，包括Routine Load、Stream Load和Insert into，满足不同业务场景需求。通过Doris的MySQL协议兼容性和外表功能，降低了业务方的查询成本。此外，物化视图和列存优化使得聚合计算速度显著提升。 在实施过程中，蜀海供应链利用Canal监控MySQL Binlog并将数据实时推送到Kafka，再由Flink消费Kafka数据并通过Stream Load写入Doris。未来规划包括支持更多数据库的零代码接入，以进一步提升数据接入的便利性。 总结来说，蜀海供应链通过采用Apache Doris重构数仓平台，成功解决了原有架构的痛点，提升了数据处理能力和响应速度，实现了更高效的数据分析支持，以更好地服务于其餐饮供应链的业务需求。