ETL笔记——第五章 数据清洗与校验（数据检验）

一、数据一致性处理

通过Kettle工具，使用弱一致性对数据表Personnel_Information中的数据进行一致性处理，即利用数据表Personnel_Information中的字段GENDER中的值训练出一个健康值预测模型，用于将原始数据中的字符串特征转化为模型可识别的数字特征。

1、数据准备

现在数据库中有一张名为Personnel_Information的数据表，该表中主要记录了500名职员的性别、身高、体重及健康值，具体数据内容如图所示（注：这里只截取数据表中的部分数据进行展示）。

2、data _consistency转换

（1）创建一个转换data _consistency，并添加“表输入”控件、“值映射”控件、“插入/更新”控件以及Hop跳连接线。

（2）各控件配置

1）配置“表输入”控件

配置数据库连接。

在SQL框中编写查询数据表Personnel_Informati