ERROR tool.ExportTool: Error during export:

最新推荐文章于 2024-11-12 18:14:45 发布

圆周率的后六位

最新推荐文章于 2024-11-12 18:14:45 发布

阅读量1.4w

点赞数

CC 4.0 BY-SA版权

文章标签：数据库开发语言 sqoop hadoop hive

本文链接：https://blog.csdn.net/sjfx123456/article/details/126784299

使用sqoop做etl时发生如下错误。
22/09/09 12:29:49 ERROR tool.ExportTool: Error during export:
经过查看日志发现存在的问题，***-普通授信-2022-09-08-23 这个字段重复了，我的设置为

–table table_name
–hcatalog-database db
–hcatalog-table table_name
–columns “字段”
–update-mode allowinsert
–fields-terminated-by ‘\001’
–lines-terminated-by ‘\n’
–input-null-string ‘null’
–input-null-non-string ‘null’
-m 1

Error: java.io.IOException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry ‘***-普通授信-2022-09-08-23’ for key ‘table_name.PRIMARY’ at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.close(AsyncSqlRecordWriter.java:205) at

是以为代码跑出来的结果有多条数据，生意需要修改代码，保证数据为唯一的。