flink 写入 starrocks 报错 too many filtered rows attachment

Thomas2143

已于 2023-12-11 15:08:53 修改

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：总结文章标签： starrocks

于 2023-11-10 11:04:13 首次发布

本文链接：https://blog.csdn.net/qq_35515661/article/details/134328324

总结专栏收录该内容

792 篇文章 ¥99.90 ¥299.90

订阅专栏

本文主要探讨了在使用Flink将数据写入StarRocks时遇到的'too many filtered rows'错误的两个可能原因：一是字段长度超过DDL定义，建议将varchar调整为STRING；二是插入数据包含空值，但列定义不允许为空。同时提到了可能存在的CSV脏数据问题，导致列分割异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可能原因1

把你starrocks中DDL里的varchar(...) 先修改为STRING. 一般是因为字段超出定义的长度.

可能原因插入的数据某列为空,但是该列不允许为null

mini load：too many filtered rows · Issue #1815 · apache/doris · GitHub

可能原因2

csv里有脏数据导致3列被切分为4列

...

    PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
    'connector' = 'starrocks',
    'jdbc-url' = '...',
    'username' = '...',
    'password' = '...',
    'database-name' = 'db1',
    'load-url' = '...',
    't

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Thomas2143

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink往Starrocks写数据报错：too many filtered rows

SunnyRivers

11-06

2197

这个其实比较郁闷，你抛出的异常是过滤出太多行，与not null有什么关系呢？但是，当你把not null去掉后，发现很多too many filtered rows的bug都能解决了。这个时候你把最新的数据导入，可能会报上面的错。正当你以为你根据字面意思就知道bug的本质的时候，你会发现有些场景，你日期写的完全没有问题依然会报上面的错（说明这个starrocks源码写的不严谨）。比如你写的是tinyint，但实际来的值超过这个范围，就会报错too many filtered rows（真有点扯淡啊）。

记录apache doris使用过程中出现的问题

热门推荐

qq_31866793的博客

10-28

3万+

1，执行创建语句过程中出现： [Err] 1064 - errCode = 2, detailMessage = Failed to find enough host in all backends. need: 3 原因：语句中指定了PROPERTIES("replication_num" = "3"); 结果BE只有2个：查看对应节点的日志：. ==> ./be.WARNING.log.20200921-141304 <== W1026 18:13:39.1399..

1 条评论您还未登录，请先登录后发表或查看评论

Starrocks StreamLoad导入csv数据报错too many filtered rows

qq_42607505的博客

07-07

3574

【已解决】Starrocks StreamLoad导入csv数据报错too many filtered rows。

doris报错：too many filtered rows

海若_matrix的博客

04-12

1万+

1.报错场景加载数据 [starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load 2.报错内容 { "TxnId": 831311, "Label": "testd

【无标题】Doris报错（too many filtered rows）

ShiXZ213的博客

10-28

3114

doris

doris 数据导入too many filtered row

azx321的专栏

04-02

1997

doris导入数据too many filtered row 原因没有设置分隔符 column_separator 数据中包含分隔符导致分割后的数据列与cloumn数量不一致

导入失败，报错：“too many filtered rows xxx, “ErrorURL“:“

eagle89的专栏

01-16

4543

[INTERNAL_ERROR]too many filtered rows",

FlinkCDAS同步starrrocks，varchar超长导致数据同步失败

m0_66705151的博客

03-13

1759

使用FlinkCDAS同步mysql数据到starrocks，报org.apache.flink.table.api.TableException: Failed to deserialize the input record，究竟是怎么回事？

StarRocks-生产环境问题集锦

weixin_45943866的博客

03-21

5300

实时平台设计方案将最终目的数据库更换为StarRocks,使用后的感受简直就是更快更高更强，但在开发使用过程中也遇到了一些小问题(以下问题均出现在Flink写入StarRocks架构中).

Doris [DATA_QUALITY_ERROR]too many filtered rows

最新发布

实践出真知

12-02

1381

Message信息提示[DATA_QUALITY_ERROR]too many filtered rows，并不能直观看出问题所在。可以通过ErrorURL的链接打开查看。

使用StarRocks遇到的问题汇总 FAQ

Yuchen914的博客

12-01

8291

日常记录不断更新导入 insert into 问题: insert的时候报这个错，是什么情况？ sql:ssb-flat_insert.flat insert error. Msg: （1064, ‘index channel has intoleralbe failure’）问题截图: 解决方式: streaming_load_rpc_max_alive_time_sec=2400 tablet_writer_open_rpc_timeout_sec=120 be/conf/be.conf 配置中

日常Doris导入本地文件测试练习

bababuzaijia的博客

11-17

857

"Message": "too many filtered rows"，Doris表导入本地文件

flink-connector-starrocks 问题记录

剑雨江湖

03-31

4173

问题一：ClassNotFoundException: org.apache.flink.calcite.shaded.com.google.common.base.Preconditions Caused by: java.lang.ClassNotFoundException: org.apache.flink.calcite.shaded.com.google.common.base.Preconditions at java.net.URLClassLoader.findClass(URLCl

Seatunnel组件Jdbc TO Doris出现的异常Failed to flush data to Doris. Column has no default value. column: XXX

notfound4043的博客

02-20

3433

Seatunnel组件Jdbc TO Doris出现的异常Failed to flush data to Doris. Column has no default value. column: XXX

【Doris】通过Stream Load解决Doris同步产生err=-235 or -215 or -238问题

yuanling_123的博客

04-12

3351

Stream Load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream Load 主要适用于导入本地文件，或通过程序导入数据流中的数据。Stream load 中，Doris 会选定一个节点作为 Coordinator 节点。该节点负责接数据并分发数据到其他数据节点。用户通过 HTTP 协议提交导入命令。

flink异常合集

weixin_43644153的博客

03-11

2468

1_配置文件冲突用flink写了一个很简单的wordCount，打包扔到集群上运行，报如下错误： The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job failed. (JobID: 01007136fdd759585e...

DataX同步数据到StarRocks问题记录

凉茶冰

09-10

4364

DataX同步mysql数据到StarRocks遇到的关于特殊字符等相关问题总结。

Infragistics 汉化

weixin_30480075的博客

01-25

273

Infragistics 汉化实例： Infragistics.Shared.ResourceCustomizer rc=Infragistics.Win.UltraWinGrid.Resources.Customizer; rc.SetCustomizedString("SummaryDialogAverage", "平均"); rc.SetCust...

pl/sql异常之 too_many_rows小例子

各研发管理

03-10

708

declare v_description t11.description%type; begin select DESCRIPTION into v_description from t11; dbms_output.put_line(v_description); exception when too_many_rows then dbms_output.put_line('...

flink写入hbase报错org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy

06-07

这个错误信息表明 Flink 作业遇到了无法恢复的错误并且已经停止了。在这种情况下，Flink 使用 NoRestartBackoffTimeStrategy 来防止无限重启作业。要解决这个问题，你需要先了解导致作业失败的原因。可能是你的 HBase 配置有误，导致 Flink 在写入 HBase 时发生了错误。你可以检查一下 Flink 作业日志，看看是否有更详细的错误信息。如果有，可以根据错误信息来排查问题。另外，你也可以尝试使用 Hadoop 的 Configuration 对象来配置 HBase 连接，例如： ```java Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); config.set("hbase.master", "localhost:60000"); ``` 然后在 Flink 的代码中使用这个 Configuration 对象来连接 HBase。如果以上方法都无法解决问题，你可以考虑联系 Flink 社区来获取更多帮助。