DuckDB 多数据源交互

DuckDB 是嵌入式数据库，DuckDB 的优势是可以访问多种类型，从数据库到文件，基本上所有的结构化数据都支持。DuckDB 可以使用不同语言的 SDK 、或者命令行进行访问，本文将使用命令行进行访问，将 Excel 的数据写入 MySQL 数据库。

安装

在 Mac 使用 brew install duckdb ，其他平台安装方法，参考官方文档。

连接 Excel

进入 DuckDB 命令行界面，命令行直接输入 duckdb

#安装 Excel 插件
INSTALL spatial;
LOAD spatial;

# 访问数据
SELECT * FROM st_read('mid_comp.xlsx');

# 创建表
CREATE TABLE mid_comp AS
    SELECT * FROM st_read('mid_comp.xlsx');

创建 MySQL 连接

INSTALL mysql;
LOAD mysql;

#连接信息

CREATE SECRET (
    TYPE MYSQL,
    HOST '127.0.0.1',
    PORT 13306,
    DATABASE db_jq,
    USER 'root',
    PASSWORD '123456'
);

# 创建数据源
ATTACH '' AS mysql_db (TYPE MYSQL);

# excel 数据
 use mysql_db.db_jq;
 CREATE TABLE mid_comp AS
      SELECT * FROM st_read('mid_comp.xlsx');

数据已经成功到处 MySQL

总结

有了 DuckDB 跨数据源的数据处理变得非常简单，更多的数据源连接方式可以参考官网。