模糊查询和去重sql

### MyBatis-Plus 实现去重分页并支持动态条件查询的 SQL 解决方案 MyBatis-Plus 是一款强大的持久层框架，它提供了便捷的方式实现分页、去重以及动态条件查询的功能。以下是针对该需求的具体解决方案。 #### 1. **核心概念** 在 MyBatis-Plus 中，`Page<T>` 类用于封装分页结果，而 `LambdaQueryWrapper<T>` 则负责构建动态查询条件。为了实现去重效果，可以在 SQL 查询中加入 `DISTINCT` 关键字[^1]。 --- #### 2. **代码示例** ##### (1) **实体类定义** 假设我们有一个名为 `User` 的实体类，表示用户的表结构如下： ```java @Data public class User { private Long id; private String name; private Integer age; private String email; } ``` ##### (2) **Mapper 接口定义** 创建一个继承自 `BaseMapper<User>` 的接口： ```java public interface UserMapper extends BaseMapper<User> {} ``` ##### (3) **服务层实现** 以下是一个完整的实现示例，展示如何去重、分页并支持动态条件查询： ```java import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper; import com.baomidou.mybatisplus.extension.plugins.pagination.Page; public Page<User> queryDistinctPages(int currentPage, int pageSize, String name, Integer minAge) { // 初始化分页对象 Page<User> page = new Page<>(currentPage, pageSize); // 创建 LambdaQueryWrapper 对象，并设置动态查询条件 LambdaQueryWrapper<User> wrapper = new LambdaQueryWrapper<>(); // 开启 DISTINCT 去重 wrapper.distinct(true); // 动态添加查询条件 if (name != null && !name.isEmpty()) { wrapper.like(User::getName, name); // 模糊匹配用户名 } if (minAge != null) { wrapper.ge(User::getAge, minAge); // 大于等于指定年龄 } // 执行分页查询 return userMapper.selectPage(page, wrapper); } ``` --- #### 3. **SQL 日志分析** 以上代码最终生成的 SQL 将类似于以下形式（假设有模糊查询和最小年龄条件）： ```sql SELECT DISTINCT id, name, age, email FROM user WHERE name LIKE '%张三%' AND age >= 18 LIMIT 0, 10; ``` 可以看到，`DISTINCT` 关键字被成功应用到查询中，同时动态条件也已生效[^2]。 --- #### 4. **注意事项** - 如果需要对多个字段进行去重，可以显式指定这些字段，例如： ```java wrapper.select(User::getId, User::getName).distinct(); ``` - 当前实现依赖于 MyBatis-Plus 的内置分页插件。如果项目未配置分页插件，请先完成相关初始化工作[^3]。 - 若业务逻辑较为复杂，可考虑使用自定义 SQL 方案替代默认生成器。 --- ###

### ClickHouse 中的模糊查询方法 ClickHouse 提供了几种方式来实现模糊查询功能，尽管其设计初衷并非专门针对全文检索或复杂的模糊匹配场景。以下是几种常用的方法及其示例： #### 1. 使用 `LIKE` 和 `ILIKE` `LIKE` 是 SQL 标准中的字符串模式匹配操作符，适用于简单的通配符匹配。`ILIKE` 则是大小写不敏感版本。 ```sql SELECT * FROM table_name WHERE column_name LIKE '%pattern%'; ``` 如果需要忽略大小写，则可以使用 `ILIKE`（需启用 PostgreSQL 兼容语法）[^1]。 #### 2. 正则表达式查询 (`REGEXP`, `MATCH`) ClickHouse 支持基于 POSIX 的正则表达式查询，可以通过 `REGEXP` 或 `MATCH` 关键字完成更灵活的模糊匹配。 ```sql SELECT * FROM table_name WHERE column_name REGEXP 'pattern.*example'; ``` 或者使用 `MATCH` 函数： ```sql SELECT * FROM table_name WHERE match(column_name, 'pattern.*example'); ``` 这种方式非常适合处理复杂模式的匹配需求，但需要注意的是，正则表达式的性能可能不如其他简单匹配方式高效[^2]。 #### 3. nGram 和 Tokenize 插件 对于更高级的模糊查询需求，比如近似匹配或拼写纠正，可以借助第三方插件如 `ngrambf_v1` 或自定义函数实现分词和相似度计算。这种方法通常涉及预处理阶段创建辅助列以提高查询效率。 例如，在表结构中增加一列存储 tokenized 数据： ```sql CREATE TABLE example_table ( id UInt64, text String, tokens Array(String) MATERIALIZED tokenize(text) ) ENGINE = MergeTree() ORDER BY id; ``` 之后可通过数组操作筛选符合条件的结果： ```sql SELECT * FROM example_table WHERE has(tokens, 'token') OR hasAny(tokens, ['tok', 'en']); ``` 此方案特别适合中文等非空白字符分割的语言环境下的模糊查找任务[^3]。 #### 4. MinHash 和 Jaccard 相似度 当面对海量数据集时，精确去重可能会带来巨大的计算开销。此时可采用概率算法如 MinHash 来估算集合间的相似程度，并据此判断两条记录是否接近相同。 假设我们已经构建好了对应的 Bitmap 结构，则比较过程如下所示： ```sql WITH jaccardSimilartiy(bitmapA, bitmapB) AS similarity_score SELECT similarity_score FROM dual; ``` 这里利用到了之前提到过的 RoaringBitmap 技术细节，即通过高效的位图运算快速得出候选结果集后再进一步验证真伪阳性情况[^3]。 以上便是关于如何在 ClickHouse 实现不同层次上的模糊查询的一些探讨与实践案例分享。