Aloudata AIR 作为国内首个 Data Fabric 逻辑数据平台,通过自研的数据虚拟化技术,轻松实现多源异构数据的集成整合和自适应加速,为 Data Fabric 数据架构理念在国内的实践落地开辟了清晰的路径。
传统“搭湖建仓”遇上数据管理“新挑战”
得益于互联网和移动互联网的发展,以及数字化设备的普及,企业现在可以获取到更丰富的数据,不仅包括用户的交易结果,还包括他们的行为数据,甚至是 IoT 设备生成的数据。随着 SaaS 应用的普及,我们还能够接触到更多种类的企业数据。
数据量的增加和数据类型的丰富为我们打开了新的想象空间,使得企业数字化应用的场景变得更加多样化,企业内部各种职能对数据的需求也随之激增。这给我们的数据管理带来了新的挑战:如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策,同时如何保证这些数据的有序、安全和合规流通。
在过去,为了让用户更好地利用和处理这些数据,我们通常会选择搭建数据湖和数据仓库,将所有数据物理集中起来。随着数据量、用数需求和用数人数持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来多方面的挑战。
一方面,在传统的湖仓架构下,企业需依赖大量的 ETL 工作以满足用数需求和实现数据管理,但这一过程耗时耗力。即使数据团队投入巨大努力去满足需求,也难以获得业务部门的认可和好评。因此,尽管建立了湖、仓,甚至数据中台,但我们在数据响应效率和业务满意度方面仍未见明显改善。
另一方面,建立了数据湖和数据仓库后,需要将业务数据从业务数据库迁移到这些平台,随后由于各种性能问题,还需要将数据进一步迁移到不同类型的数据集市,导致了多次不必要的数据复制、计算和存储,给企业带来了巨大的成本压力。同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的数据湖或数据仓库中,数据孤岛依然广泛存在。
Data Fabric 理念下的全新视角
面对这些挑战,近几年兴起了一种全新的数据管理理念——Data Fabric。
简单来说,Data Fabric 为我们提供了一个框架,让人与数据之间的交互更为高效。它的核心思想是,企业不再需要像过去那样将所有数据集中存放在一个物理的数据湖或数据仓库中。 Data Fabric 能够管理不同位置、不同格式的数据,并通过逻辑集中的方式进