PyZMQ消息序列化技术详解-CSDN博客

本文链接：https://blog.csdn.net/gitblog_01198/article/details/148552004

PyZMQ消息序列化技术详解

序列化基础概念

在网络通信中，序列化是将数据结构或对象转换为可传输字节流的过程。PyZMQ作为ZeroMQ的Python绑定，提供了多种序列化方式来处理消息传输。

PyZMQ内置序列化方法

PyZMQ为开发者提供了两种便捷的内置序列化方法：

1. JSON序列化

socket.send_json({"key": "value"})  # 发送JSON数据
data = socket.recv_json()          # 接收并解析JSON数据

JSON适合传输基本数据结构，但有以下特点：

仅支持基本数据类型（字符串、数字、列表、字典等）
不支持Python特有对象
性能中等，适合配置信息等小型数据

2. Pickle序列化

socket.send_pyobj(complex_object)  # 发送Python对象
obj = socket.recv_pyobj()         # 接收并重建对象

Pickle特点：

支持几乎所有Python对象
存在严重安全隐患（下文详述）
性能一般

安全警告：Pickle的安全隐患

Pickle序列化存在严重安全风险，因为它允许执行任意代码。攻击者可以构造恶意Pickle数据，在反序列化时执行危险操作。

防护措施建议：

使用CURVE加密和认证
实现消息认证（如HMAC）
避免在网络环境中使用Pickle

自定义序列化方案

实际项目中，建议根据需求实现自定义序列化。以下是几种常见方案：

1. 消息压缩方案

import zlib

def send_compressed(socket, data):
    compressed = zlib.compress(data.encode())
    socket.send(compressed)

def recv_compressed(socket):
    compressed = socket.recv()
    return zlib.decompress(compressed).decode()

2. 签名验证方案

import hmac
import hashlib

def send_signed(socket, data, key):
    signature = hmac.new(key, data, hashlib.sha256).digest()
    socket.send_multipart([signature, data])

def recv_signed(socket, key):
    signature, data = socket.recv_multipart()
    expected = hmac.new(key, data, hashlib.sha256).digest()
    if not hmac.compare_digest(signature, expected):
        raise ValueError("Invalid signature")
    return data

高效传输NumPy数组

NumPy数组是科学计算中的常见数据结构，PyZMQ支持零拷贝传输：

import numpy as np

def send_array(socket, array):
    # 发送元数据(形状和类型)
    socket.send_json({
        'shape': array.shape,
        'dtype': str(array.dtype)
    }, zmq.SNDMORE)
    # 发送数组数据(零拷贝)
    socket.send(array)

def recv_array(socket):
    # 接收元数据
    metadata = socket.recv_json()
    # 接收数组数据
    buffer = socket.recv()
    # 重建数组
    array = np.frombuffer(buffer, dtype=metadata['dtype'])
    return array.reshape(metadata['shape'])