9-9+ReJoyGraph分布式流式图计算实践.pdf

【9-9+ReJoyGraph分布式流式图计算实践】主要探讨了在京东数科的图计算部如何实现高效、灵活且易用的分布式流式图计算系统。该实践的目标是构建一个一站式解决方案，能够处理业务流或文件输入，快速产生图分析结果，同时保持低延迟，无需额外的ETL过程，并支持不同图算法和自定义算法。 **1. 架构背景与设计目标** - **一站式服务**：系统能够接收业务流或文件输入，直接进行图分析，并输出结果。 - **低延迟**：端到端的延迟是最主要的优化目标，尤其在风控反欺诈等场景中。 - **ETL-Free**：不依赖于Flink、Spark等第三方工具进行数据预处理。 - **灵活性**：一份数据可以以不同的方式构建图，支持多种图算法，算法参数可调。 - **可扩展性**：系统既支持AP（可用性）又支持TP（吞吐量），允许扩展以适应不同需求。 **2. 具体组件** - **IngestEngine**：负责数据的摄入，包括Schema校验和批处理解析，以形成抽象边流，同时通过Strong-Schema确保数据的一致性。 - **StorageEngine**：使用如Nebula Graph或TiDB这样的数据库存储图数据，利用HLC（Hybrid Logic Clock）生成一致性快照，提供高效的读写操作。 - **ComputeEngine**：执行图计算任务，对数据进行处理，支持动态图计算和NUMA感知的优化。 **3. 分布式流式图计算的挑战** - **数据驱动的计算**：计算量与图结构紧密相关，不规则的图结构使得分区优化困难。 - **负载均衡**：运行时的负载可能不均衡，需要有效的调度策略。 - **内存访问**：随机内存访问可能导致高cache miss率，增加计算负担。 - **计算与存储耦合**：编程范式与存储模型的耦合要求更高的设计灵活性。 **4. 解决方案** - **Distributed ID Encoder**：为顶点编码，确保计算引擎仅处理抽象图，简化索引和检索，减少内存开销。 - **Streaming Graph Partitioning**：采用HDRF（High Degree Replication First）策略，优先考虑高度节点的分区，以适应边流模式的业务场景。 - **Gossip协议**：用于异步交换分区信息，实现并行HDRF分区决策。 - **HLC-Based Consistent-Snapshot**：为IngestEngine提供一致性的数据摄入点。 **5. 存储引擎的选择** - **Nebula Graph** 和 **TiDB**：两者都是分布式数据库，前者专为图数据设计，后者则是一种基于Raft协议的HTAP（混合事务/分析处理）数据库，两者都可用于存储和查询图数据。 **6. 其他图计算系统** 文档还提及了其他分布式内存型图计算系统，如Kineograph、Chronos、Weaver和STINGER，它们都专注于动态图计算和多级图分割，以及对非均匀内存访问（NUMA）的优化。 【9-9+ReJoyGraph分布式流式图计算实践】深入探讨了构建高效分布式流式图计算平台的关键技术和挑战，为实际业务中的实时分析和决策提供了重要的技术参考。