【doris】应用篇（五）Broker Load

前言

doris 可以有多种实现数据导入的方式，本章主要介绍Broker Load。

一、Broker Load是什么？

Broker Load 适合源数据存储在远程存储系统，比如对象存储或 HDFS，且数据量比较大的场景。 从 HDFS 或者 S3 直接读取，也可以通过 [湖仓一体/TVF]中的 HDFS TVF 或者 S3 TVF 进行导入。基于 TVF 的 Insert Into 当前为同步导入，Broker Load 是一个异步的导入方式。
支持的数据类型：

• CSV
• JSON
• PARQUET
• ORC

支持的压缩类型：

• PLAIN/ GZ / LZO / BZ2 / LZ4FRAME / DEFLATE / LZOP / LZ4BLOCK / SNAPPYBLOCK / ZLIB / ZSTD

二、使用方式

使用broker load实现从hdfs导入数据，支持指定字段，条件过滤，也支持同时导入到多个表。并且是异步导入，提交任务后需要持续观察任务运行情况。