doris replace函数

### Doris 爆炸函数的使用方法与数据处理 在 Apache Doris 中，爆炸函数（`EXPLODE`）是一种用于将数组或字符串拆分为多行的功能性工具。它广泛应用于需要对复杂数据结构进行扁平化处理的场景，例如处理 JSON 数据、数组字段或分隔符分隔的字符串等。 #### 1. `EXPLODE` 函数的基本用法 `EXPLODE` 函数可以将一个数组类型的列拆分成多行，每一行对应数组中的一个元素。以下是一个基本示例[^1]： ```sql WITH example AS ( SELECT '1,2,3' AS str ) SELECT explode(split(str, ',')) AS exploded_value FROM example; ``` - `split(str, ',')` 将字符串按逗号分割成数组。 - `explode` 将数组中的每个元素拆分为单独的一行。 执行结果为： ``` exploded_value --------------- 1 2 3 ``` #### 2. 处理嵌套数组或 JSON 数据 Doris 支持通过 `EXPLODE` 函数结合 JSON 解析函数来处理嵌套的 JSON 数据。例如，假设有一列包含 JSON 数组数据，可以通过以下方式将其展开： ```sql WITH json_data AS ( SELECT '{"ids":[1,2,3]}' AS json_str ) SELECT explode(cast(get_json_int_array(json_str, '$.ids') AS ARRAY<INT>)) AS id FROM json_data; ``` - `get_json_int_array` 提取 JSON 中的数组字段。 - `cast` 将提取的数组转换为目标类型（如 `ARRAY<INT>`）。 - `explode` 将数组中的每个整数拆分为单独一行。 执行结果为： ``` id --- 1 2 3 ``` #### 3. 结合正则表达式进行复杂数据处理 在某些情况下，数据可能以非标准格式存储，例如带有额外字符或不规则分隔符的字符串。此时可以结合正则表达式函数（如 `REGEXP_REPLACE`）和 `EXPLODE` 来实现复杂的数据处理。例如，假设有一个字符串字段包含不规则分隔符： ```sql WITH irregular_data AS ( SELECT '1|2;3' AS str ) SELECT explode(split(REGEXP_REPLACE(str, '[|;]', ','), ',')) AS value FROM irregular_data; ``` - `REGEXP_REPLACE` 将所有分隔符替换为统一的逗号。 - `split` 将字符串分割为数组。 - `explode` 将数组中的每个元素拆分为单独一行。 执行结果为： ``` value ----- 1 2 3 ``` #### 4. 处理多列爆炸 如果需要同时对多个数组列进行爆炸操作，可以使用 `LATERAL VIEW` 或 `CROSS JOIN` 来实现。以下是一个示例[^2]： ```sql WITH multi_arrays AS ( SELECT '[1,2,3]' AS arr1, '[4,5,6]' AS arr2 ) SELECT e1.value AS value1, e2.value AS value2 FROM multi_arrays LATERAL VIEW explode(split(REGEXP_REPLACE(arr1, '[\\[\\]]', ''), ',')) e1 AS value LATERAL VIEW explode(split(REGEXP_REPLACE(arr2, '[\\[\\]]', ''), ',')) e2 AS value; ``` - `REGEXP_REPLACE` 去除数组的方括号。 - `split` 将字符串分割为数组。 - `LATERAL VIEW` 和 `explode` 实现多列爆炸。 执行结果为： ``` value1 value2 ------- ------- 1 4 2 5 3 6 ``` #### 注意事项 1. `EXPLODE` 函数只能作用于数组类型的列。如果输入是字符串类型，则需要先通过 `split` 或其他函数将其转换为数组。 2. 如果数组为空或为 NULL，则 `EXPLODE` 的结果将是空集。 3. 在处理嵌套数据时，建议先通过 JSON 解析函数提取目标字段，再进行爆炸操作。 ---

### Apache Doris 函数使用说明 Apache Doris 提供了一系列内置函数，用于支持实时数据分析中的各种操作。这些函数涵盖了字符串处理、数值计算、日期时间转换以及聚合统计等多个方面[^1]。 #### 内置函数分类 以下是 Apache Doris 支持的主要函数类别及其用途： 1. **字符串函数** 字符串函数主要用于对字符型数据的操作和处理。常见的字符串函数包括但不限于 `CONCAT`、`SUBSTR` 和 `REPLACE`。 ```sql SELECT CONCAT('Hello', ' ', 'World'); -- 结果为 "Hello World" ``` 2. **数值函数** 数值函数主要针对数值类型的运算，例如取绝对值 (`ABS`) 或四舍五入 (`ROUND`)。 ```sql SELECT ABS(-10); -- 返回 10 SELECT ROUND(3.7); -- 返回 4 ``` 3. **日期与时间函数** 这类函数帮助用户处理日期和时间字段，比如获取当前时间戳 (`NOW()`) 或提取年份部分 (`YEAR()`)。 ```sql SELECT NOW(); -- 当前系统时间 SELECT YEAR('2023-10-01'); -- 返回 2023 ``` 4. **条件判断函数** 条件判断函数允许基于逻辑表达式的真假返回不同的结果，典型代表有 `IF` 和 `CASE WHEN`。 ```sql SELECT IF(1 > 0, 'True', 'False'); -- 返回 True SELECT CASE WHEN 1 = 1 THEN 'Equal' ELSE 'Not Equal' END; -- 返回 Equal ``` 5. **聚合函数** 聚合函数通常应用于多行记录的数据汇总，如求和 (`SUM`)、计数 (`COUNT`) 及平均值 (`AVG`) 等。 ```sql SELECT SUM(salary) FROM employees; SELECT COUNT(*) AS total_records FROM orders; ``` 6. **窗口函数** 窗口函数提供了一种无需分组即可跨多个输入行执行计算的能力，常用的是 `ROW_NUMBER()` 和 `RANK()`。 ```sql SELECT name, salary, ROW_NUMBER() OVER (ORDER BY salary DESC) as rank FROM employees; ``` #### 自定义 UDF 函数 除了上述内置功能外，当遇到无法满足特定业务需求的情况时，可以通过开发自定义 UDF（User Defined Function）来增强系统的灵活性[^2]。具体流程如下所示： - 编写 Java/C++ 实现所需逻辑； - 将编译后的二进制文件加载至集群节点上； - 注册新创建的 UDF 至 Doris FE 中以便后续调用。 ```java public class MyCustomFunction implements ScalarFunction { @Override public void evaluate(VectorizedValue result, VectorizedValue... args) throws Exception { // 定义具体的算法实现... } } ``` --- ### 注意事项 在实际应用过程中需要注意以下几点： - 部署前后台服务进程需遵循官方文档指导完成启动停止命令配置[^3]。 - 对于复杂查询建议优化表结构设计并合理利用索引机制提升性能表现。