今天,我们已经进入到一个数据爆发的时代,仅 2022 年,我国数据产量就高达 8.1ZB,同比增长 22.7%,数据产量位居世界第二。数据作为新型生产资料,是企业数智化运营的基础,已快速融入到生产、分配、流通、开发、应用、服务等各环节之中,深刻改变着企业的生产方式、管理方式和经营模式。通过数据驱动,能够帮助企业不断提高业务决策效率和质量,适应快速变化的商业环境,构建新质生产力。
然而,伴随数据产生、收集、存储和消费的速度和规模不断扩大,传统的数据管理架构、数据仓库等策略已经跟不上新时代的需求,导致了一个个“数据孤岛”的产生,严重阻碍了企业数智化进程。例如:随着业务发展,数据基础设施与组织架构持续演进,形成多层级、多地域的离散数据架构;大数据技术持续升级换代和 AI 技术的发展,使企业内存在不同代际的计算、引擎与大数据技术架构;大型企业中,不同的业务单元或部门可能根据自身需求独立发展,形成了各自为政的数据管理体系;考虑到数据的敏感性和隐私性,一些组织和部门担心敏感数据泄露或被滥用,只在独立的系统中存储和处理一些关键数据等。
可以说,“数据孤岛”的存在,直接导致企业的数据共享、流通、交换和集成变得愈加困难,这显然难以适应越来越多的业务端“看数、用数”、以数据驱动决策的需求。只有让数据更高效、更便捷、更低成本地流向更需要的地方,让多源异构的优质数据在业务场景中整合集成,帮助业务人员快速决策,才能真正释放数据价值,助力商业成功。此外由于不同部门或系统之间使用不同的数据源、数据格式等,导致数据冗杂、重复,造成资源浪费,也增加了企业的数据存储和管理成本。
为解决“数据孤岛”问题,企业往往选择构建一个统一的数据湖仓,或者数据中台,通过 ETL 等技术手段,以实现数据的集中存储、管理和消费。但这种方式过于依赖人工作业,远远跟不上企业看数、用数的需求。
在此背景下,Data Fabric(数据编织)数据管理理念兴起,将自动化能力添加到整个数据管理中,通过数据虚拟化技术构建统一的逻辑数据视图,优化跨源异构数据的发现与访问,使数据管理工作量减少 70% 并加快价