kettle中调用python脚本清洗数据并将结果输入到数据库中

______九月__

于 2020-04-30 10:23:24 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_40929755/article/details/105855251

本文介绍如何在Kettle数据集成工具中创建一个job，通过调用Python脚本来清洗数据，然后将清洗后的数据存入数据库。首先新建job，接着插入shell步骤来执行Python脚本，再新建转换进行数据处理。最后，需要在数据库中创建目标表，完成整个流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、新建job
2、插入shell脚本

	需要设置环境变量，E:\Anaconda3;E:\Anaconda3\Scripts;E:\Anaconda3\Library\bin
	需要添加.py文件默认打开方式为python.exe

3、新建转换

	首先设置变量以便于动态读取时间戳和动态读取excel文件目录；
	在执行sql脚本中需要勾选执行每一行，变量替换，绑定参数？；
	在excel输入中选中的文件的文件/目录下使用${变量}，即可取到excel文件名。

在这里插入图片描述
4、在数据库中建表，执行所有步骤即可。

	create TABLESPACE ts_flow_data LOGGING datafile 'E:\ORACLE\T_FLOW_DATA_01.DBF' SIZE 128M 
	AUTOEXTEND ON NEXT 128M MAXSIZE 20G;
	COMMIT;

	CREATE TABLE t_flow_data ( fid NUMBER, fcleandate TIMESTAMP(6), fbizdate TIMESTAMP(6), 
	fcoustomername  NVARCHAR2(255), fmaterialname NVARCHAR2(255), fmodel NVARCHAR2(255), 
	fqty NUMBER(28, 16), fprice NUMBER(19,