Apache Calcite: 初窥门径

yuanyeex

已于 2022-10-09 21:16:08 修改

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

文章标签： apache hive 大数据

于 2022-10-09 21:14:39 首次发布

本文链接：https://blog.csdn.net/RealJianyuan/article/details/127234263

Apache Calcite是一个开源的动态数据管理框架，起源于Hive的CBO模块，专注于SQL解析、查询优化和提供扩展机制以适配不同存储和计算引擎。它支持物化视图、多种数据源适配器，并被广泛应用于Apache Drill、Hive、Kylin等项目。通过Calcite，可以实现统一的数据管理和查询优化，提供'one planner fits all'的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文首次发布于今日头条和微信公众号。头条账号: yuanyeex; 微信公众号: 元本一兀

Apache Calcite的前身是optiq，是Hive中做CBO(Cost Based Optimization, 基于成本的优化)的一个模块。2014年5月从Hive项目中独立出来，成为Apache社区的孵化项目，同年9月正式改名为Apache Calcite。Calcite的作者是Julian Hyde，是数据处理与架构方面的专家，在数据平台方面的工作经历非常多，曾是Oracle、Broadbase公司SQL引擎的主要开发者、SQL Streaming公司的创始人和架构师、Pentaho BI套件中OLAP部分的架构师和主要开发者。

Apache Calcite是目前很火的一个Apache开源项目，其定位是动态数据管理框架。和传统的DBMS系统比，Apache Calcite舍弃传统数据库系统的几个关键特性，数据存储(storage of data)、数据处理算法(algorithm to process data)、元数据仓储(repository for storing metadata)。可以看到，Apache Calcite本身不涉及任何物理存储信息，也不做具体的物理数据操作，而是专注在SQL解析、基于关系代数的查询优化，通过扩展的方式来对接底层存储。

Arch

因此，Apache Calcite可以更好的被其他项目集成，能够在异构存储、异构引擎上，提供统一的数据管理能力，同时还支持基于关系代数的优化器。正如Apache Calcite的设计目标”One planner fits all” 说的那样，我们只需要一个SQL接口，就能支持任何数据存储、计算引擎。目前，Apache Caclcite被广泛应用于众多的开源项目中，如Apache Drill、Apache Hive、Apache Kylin、Apache Phoenix、Apache Samza 和 Apache Flink等。