关于同步接口中的异步处理机制设计-CSDN博客

本文链接：https://blog.csdn.net/m0_63602453/article/details/148651442

背景

在分析视频处理服务(vid_sync_engine)项目时，我注意到一个有趣的设计特点：虽然API接口实现是同步的，但代码结构已经为未来的异步处理做了准备。这引发了我对接口设计模式的思考。

问题描述

在视频处理这类耗时操作中，同步处理会导致客户端长时间等待，而异步处理则能提供更好的用户体验。但如何在现有同步接口基础上平滑过渡到异步模式？

当前实现分析

同步实现方式

@app.post("/vid_sync_engine/api/process")
def process_video(request: VideoProcessRequest):
    # 直接同步调用处理函数
    process_video_task(request)
    return {"task_id":request.task_id, "status":"0","message":""}

在这种实现中，客户端发送请求后必须等待整个视频处理完成才能收到响应，可能需要等待数分钟。

预留的异步设计元素

尽管当前是同步实现，但代码中已包含多个异步设计元素：

任务ID机制：每个请求都有唯一task_id，为后续状态查询做准备
状态跟踪：使用task_status字典记录处理进度
回调通知：处理完成后通过callback_url通知结果
独立处理函数：视频处理逻辑已封装在单独函数中

转向异步的方案对比

方案1：FastAPI内部异步处理

@app.post("/vid_sync_engine/api/process")
def process_video(request: VideoProcessRequest, background_tasks: BackgroundTasks):
    # 检查任务是否已存在
    if request.task_id in task_status and task_status[request.task_id]["status"] == "processing":
        return {"task_id": request.task_id, "status": "1", "message": "任务正在处理中"}
    
    # 后台处理
    background_tasks.add_task(process_video_task, request)
    return {"task_id": request.task_id, "status": "0", "message": ""}

优缺点：

✅ 实现简单，代码改动小

✅ 不需要额外服务

❌ 服务重启会丢失任务

❌ 难以实现真正的横向扩展

❌ 任务去重需要额外实现

方案2：函数计算异步调用

# 使用SDK方式
@app.post("/vid_sync_engine/api/process")
def process_video(request: VideoProcessRequest):
    # 调用函数计算服务
    function_compute_client.invoke_async(
        function_name="video_process_function",
        payload=request.dict(),
        deduplication_id=request.task_id
    )
    return {"task_id": request.task_id, "status": "0", "message": ""}

# 使用HTTP方式
@app.post("/vid_sync_engine/api/process")
async def process_video(request: VideoProcessRequest):
    # 调用函数计算服务
    headers = {
        "x-fc-invocation-type": "Async",
        "x-fc-async-task-id": request.task_id
    }
    async with httpx.AsyncClient(timeout=60) as client:
        await client.post(
            video_sync_api_url,
            json=request.dict(),
            headers=headers
        )
    return {"task_id": request.task_id, "status": "0", "message": ""}

两种调用方式对比：