23、数据生命周期管理：挑战与解决方案

数据生命周期管理：挑战与解决方案

1. 外部数据的挑战

当依赖外部数据驱动应用程序时，我们实际上依赖于这些数据的质量和稳定性。由于无法控制外部数据源，风险可能更高。在构建可靠应用程序且数据量增长时，需要思考如何降低这些风险。

2. 数据验证

数据验证是确保传入数据符合预期，并可能进行规范化处理、修改或删除格式错误或损坏的输入。具体操作因应用而异：
- 某些情况下，确保系统仅摄取符合准确或干净定义的数据。例如对于推文数据，可丢弃特定字段无值的记录。
- 有些应用必须捕获每个输入记录，可能需要实现逻辑来重新格式化每条记录以符合要求。
- 还有些情况，仅摄取正确记录，其余记录可存储在其他地方供后续分析。

验证逻辑可融入其他操作，也可在工作流中添加验证节点，或创建新的验证子工作流。但添加验证节点会增加额外处理和读写数据的周期，需在性能、工作流复杂性和可维护性之间权衡。

3. 处理格式变化

即使数据流入系统且已充分验证，也不能掉以轻心。特别是外部数据，其结构可能随时间变化。Hive 等系统在读取数据时才应用表模式，虽利于灵活存储和摄取，但当摄取的数据与查询不匹配时，可能导致查询或工作负载突然失败。而关系型数据库在写入时应用模式，不会允许此类数据进入系统。处理数据格式变化的常见方法是将现有数据重新处理为新格式，但在大型 Hadoop 集群中，这种方法很快变得不可行。

4. 使用 Avro 处理模式演变

Avro 与 Hive 集成的一些特性有助于处理模式演变问题。以推文数据为例，可使用以下 Avro 模式表示推文记录的结构：