Pathway项目异步转换中的函数调用缓存机制详解

祝珏如

于 2025-06-01 09:07:42 发布

阅读量250

点赞数 4

本文链接：https://blog.csdn.net/gitblog_00447/article/details/148361766

版权

Pathway项目异步转换中的函数调用缓存机制详解

pathway Pathway is an open framework for high-throughput and low-latency real-time data processing. 项目地址: https://gitcode.com/gh_mirrors/pa/pathway

概述

在数据处理流程中，某些函数调用可能非常昂贵——无论是从计算时间还是从经济成本角度考虑。Pathway项目提供了一种高效的缓存机制，通过AsyncTransformer实现函数调用结果的持久化存储，避免重复计算或重复调用外部API。

缓存机制的核心价值

性能优化：减少重复计算带来的性能损耗
成本控制：避免对按次收费的外部API进行不必要的调用
结果一致性：确保相同输入总是得到相同输出
容错能力：在网络不稳定时仍能返回缓存结果

实战示例：验证邮箱是否一次性

我们通过一个实际案例来演示如何使用Pathway的缓存机制。案例目标是验证用户邮箱是否为一次性邮箱(disposable email)。

1. 环境准备

首先确保已安装Pathway：

!pip install pathway

2. 数据准备

创建示例数据文件users.csv：

user_id,email
sergey,sergey@pathway.com
jack,jack@guerillamail.com
steven,steven@gmail.com
alice,alice@mailinator.com
rachel,rachel@yahoo.com
anna,anna@wordpress.com

3. 实现邮箱验证转换器

创建继承自pw.AsyncTransformer的类，集成Kickbox API验证功能：

import pathway as pw
import requests

class EmailCheckTransformer(pw.AsyncTransformer):
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.api_requests_made = 0  # 记录API调用次数

    async def invoke(self, user_id: str, email: str) -> dict:
        self.api_requests_made += 1
        result = requests.get(
            f"https://open.kickbox.com/v1/disposable/{email}",
            timeout=1,
        )
        
        try:
            result.raise_for_status()
            return {
                "user_id": user_id,
                "email": email,
                "is_email_disposable": result.json()["disposable"]
            }
        except Exception as e:
            print(f"API请求失败: {e}")
            return {
                "user_id": user_id,
                "email": email,
                "is_email_disposable": None
            }

4. 配置缓存

Pathway提供两种持久化模式：

PERSISTING：持久化内部所有状态
UDF_CACHING：仅缓存转换器调用结果（更轻量）

persistence_backend = pw.persistence.Backend.filesystem("./Cache")
persistence_config = pw.persistence.Config(
    persistence_backend,
    persistence_mode=pw.PersistenceMode.UDF_CACHING,
)

5. 构建数据处理管道

users = pw.io.csv.read("users.csv", schema=UsersSchema, mode="static")
transformer = EmailCheckTransformer(input_table=users)
emails_verified = transformer.result
pw.io.csv.write(emails_verified, "emails_verified.csv")

pw.run(persistence_config=persistence_config)