return code 1 from org.apache.hadoop.hive.ql.ddl.DDLTask

SunnyRivers

于 2024-03-20 18:25:14 发布

阅读量815

点赞数

CC 4.0 BY-SA版权

分类专栏：分析别人的Bug让自己“零”Bug 文章标签： hive msck 分区 DDLTask 报错

本文链接：https://blog.csdn.net/Android_xue/article/details/136883081

分析别人的Bug让自己“零”Bug 专栏收录该内容

15 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在执行Hive DDL任务时遇到的返回码1错误的排查与解决过程。错误源于MSCK REPAIR TABLE命令，可能由于分区数量过大或数据缺失导致。解决方案包括删除无数据分区和设置hive.msck.path.validation为ignore，但需谨慎操作以避免元数据与HDFS数据不一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

Bug信息

Error: Error while compiling statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.ddl.DDLTask (state=08S01,code=1)

Bug产生的代码

修复hive表分区：

msck repair table xxx

Bug原因排查

分区数量过大
这个是网上查看的说如果一次性修复大量的分区可能会报这样的错误，但是我仅仅有一百多个分目录，因此直接排除该原因。
分区数据缺失
如果表的分区有两个字段，但是hdfs上对应只有一个分区字段，这种情况就会报上面的错。因此我对各个分区进行了检测，发现果然有个分区目录少了数据

Bug解决方法

删除掉没有数据的分区
这种适合于能明确知道为什么当天分区数据缺失&

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

SunnyRivers

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

weixin_52918377的博客

11-23

5039

分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 一、问题在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。 1.脚本执行的时候报错 INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab

【Hive-Exception】return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskHIVE

weixin_53543905的博客

09-05

841

【Hive-Exception】return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskHIVE Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,c

参与评论您还未登录，请先登录后发表或查看评论

报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

summer089089的博客

05-31

5047

1.报错现象外部分区表重新建立后，查询不到数据，hdfs对应的目录是数据的执行 MSCK REPAIR TABLE crumb.dwd_t_std_crumb_event_process; 修复元数据时，报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 2.报错原因从 Hive 1.3 开始，如果在 HDFS 上找到分区值中包含不允许字符的目录，MSCK 命令将抛出异常，可以在

hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

m0_65097405的博客

07-12

4794

For more details see: http://wiki.apache.org/hadoop/ConnectionRefused)原因：之前学习hive的时候创建的数据库lyw，那时已经在hdfs中创建了相对应的文件夹，后来把这些文件夹删除了，导致lyw数据库在hdfs中找不到其对应的文件夹lyw，无法创建lyw的子文件夹，因此无法在数据库lyw下创建表。解决方法：重新建一个数据库，然后把数据加载到新数据库。

Hive创建表格报Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException的错误...

weixin_30492601的博客

12-15

494

在启动Hive之后感慨这次终于没有出现Bug了，满怀信心地打了长长的创建表格的命令，结果现实再一次给了我一棒，报了以下的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException，看了一下错误之后，先是楞了一下，接着我就发出感慨，自从踏上编程这条不归路之后，就没有一天不是在找Bug的路...

Hive表字段类型转换错误解决：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

最新发布

Oz_Mood的博客

03-19

3180

这是异常的详细信息，指出在HBaseSerDe（序列化/反序列化）过程中，Hive期望的列数（12个）与HBase映射文件中定义的列数（13个）不一致。具体来说，错误是由于在Hive与HBase集成时，列的数量不匹配导致的。：如果你使用了映射文件来定义Hive和HBase之间的列映射，确保映射文件中的列数与实际的HBase表列数相匹配。：同样，检查HBase表的定义，确保列的数量和Hive表中定义的列相匹配。：查看Hive表的定义，确保你定义的列数与HBase表中的列数相匹配。

Hive 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExce

HeatDeath的博客

01-09

3187

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server ve

Hive 新建分区异常处理：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

weixin_42151880的博客

06-11

5472

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

qianchun22的博客

12-09

1万+

在MySQL创建完数据库hive后，在hive命令行中执行分区表加载数据是出现以下报错信息：原因：编码的问题，因为hive默认的是iso8859（latin1）解决方法： 1、进入到MySQL中，删除之前所创建的hive库 show databases; drop database hive; 2、再新建hive库，并手动指定编码格式为latin1 create database hive use hive #修改hive库的编码格式：alter database hive character se

hive msck repair table 报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

石榴姐yyds

06-23

2899

hive msck repair table 报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.

zcs2312852665的博客

01-12

2452

hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.

Hive连接Mysql---FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

光于前裕于后的博客

03-26

1万+

hive> show tables; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreC

return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cSerDe may be incompati

蘑菇丁的专栏

08-06

6771

删除表字段会报数据不一致，报错如下 INFO : Executing command(queryId=hive_20190806170220_4bd826b5-21cc-4a31-9fe4-3fa14ada0ede): ALTER TABLE flume.biprod replace columns ( title string comment '影片名称',show_nums int comm...

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me

Loneliness Ends HUHU

07-09

1406

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)解决: 推出hi...

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util...

weixin_33859665的博客

07-11

195

问题：将MongoDB数据导入Hive，按照https://blog.csdn.net/thriving_fcl/article/details/51471248文章，在hive建外部表与mongodb做映射后，执行后出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. ...

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

07-29

回答: "Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask"是一个Hive执行DDL任务时的错误。这个错误通常发生在尝试修改表的结构时，例如修改字段的数据类型。根据引用\[1\]和引用\[3\]的信息，这个错误可能是由于字段的数据类型不兼容导致的。在引用\[3\]中提到，当尝试将字段从Int转换为String时，会出现这个错误。解决这个问题的方法包括在SQL代码中加参数、在提交Hive程序时附加hiveconf参数、修改hive-site.xml文件等。具体的解决方法需要根据具体情况进行调试和尝试。 #### 引用[.reference_title] - *1* *2* *3* [Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.](https://blog.csdn.net/qq_28658621/article/details/123966325)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]