C++多线程中调用python api函数

本文介绍Python多线程编程中全局解释器锁(GIL)的作用及管理方法,提供了一个封装类来确保线程安全地使用PyGILState_Ensure和PyGILState_Release。同时介绍了如何在主线程和子线程中正确调用Python API,并利用Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS宏临时释放GIL。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今天看了近一天关于多线程的应用中,如何安全调用python方面的资料,开始的时候看的简直头大如斗,被python语言的全局锁(Global Interpreter Lock)、线程状态(Thread State )等都有点绕晕了,后来经过各方面文章和帮助文档的相互参考,发现对于2.4/2.5版本,提供了PyGILState_Ensure, PyGILState_Release,哎,这下可方便大发了。

一、首先定义一个封装类,主要是保证PyGILState_Ensure, PyGILState_Release配对使用,而且这个类是可以嵌套使用的。

#include <python.h>

class PyThreadStateLock
{
public:
    PyThreadStateLock(void)
    {
        state = PyGILState_Ensure( );
    }

    ~PyThreadStateLock(void)
    {
         PyGILState_Release( state );
    }
private:
    PyGILState_STATE state;
};


二、在主线程中,这样处理

    // 初始化
    Py_Initialize();
    // 初始化线程支持
    PyEval_InitThreads();
    // 启动子线程前执行,为了释放PyEval_InitThreads获得的全局锁,否则子线程可能无法获取到全局锁。
    PyEval_ReleaseThread(PyThreadState_Get());
   
    // 其他的处理,如启动子线程等
    ......
       
    // 保证子线程调用都结束后
    PyGILState_Ensure();
    Py_Finalize();
    // 之后不能再调用任何python的API

三、在主线程,或者子线程中,调用python本身函数的都采用如下处理

    {
        class PyThreadStateLock PyThreadLock;
        // 调用python的API函数处理
        ......
    }

呵呵,看这样是否非常简单了。


另外还有两个和全局锁有关的宏,Py_BEGIN_ALLOW_THREADS 和 Py_END_ALLOW_THREADS。这两个宏是为了在较长时间的C函数调用前,临时释放全局锁,完成后重新获取全局锁,以避免阻塞其他python的线程继续运行。这两个宏可以这样调用

    {
        class PyThreadStateLock PyThreadLock;
        // 调用python的API函数处理
        ......

        Py_BEGIN_ALLOW_THREADS
        // 调用需要长时间的C函数
        ......
        Py_END_ALLOW_THREADS

        // 调用python的API函数处理
        ......
    }
### C++ 多线程调用 Python 程序的方法 #### 初始化 Python 解释器并设置环境 为了使 C++ 可以成功调用 Python 类,在启动任何操作之前,必须初始化 Python 的解释器。这一步骤确保了后续所有的 Python API 函数能够正常工作。 ```cpp #include <Python.h> // ...其他必要的头文件... int main() { Py_Initialize(); // 初始化Python解释器 } ``` #### 创建新线程执行 Python 代码 当希望在一个独立的线程中运行 Python 代码时,可以创建一个新的标准库线程,并在线程函数内加载所需的 Python 文件或直接执行字符串形式的 Python 命令: ```cpp void run_python_script_in_thread(const char* script_name) { PyObject *pName, *pModule; pName = PyUnicode_DecodeFSDefault(script_name); pModule = PyImport_Import(pName); if (pModule != nullptr){ // 成功导入模块后的处理逻辑... } else { PyErr_Print(); } Py_XDECREF(pName); Py_XDECREF(pModule); } std::thread t(run_python_script_in_thread, "example.py"); t.join(); ``` #### 使用 `PyGILState_Ensure` 和 `PyGILState_Release` 由于 Python 的全局解释锁(Global Interpreter Lock, GIL),在同一时刻只有一个线程可以在CPython 中真正地执行字节码。因此,在多线程环境中调用 Python 接口前,应当先获取 GIL;完成之后再释放它[^1]。 ```cpp void thread_function(){ PyGILState_STATE gstate; gstate = PyGILState_Ensure(); /* 执行一些Python相关的操作 */ // ... PyGILState_Release(gstate); } ``` #### 实现回调机制 如果想要让 C++ 线程中的某些事件触发 Python 函数,则可以通过传递给定的对象作为参数的方式实现回调功能。这里展示了一个简单的例子,其中定义了一个名为 `callback` 的 Python 对象,并通过 `PyEval_CallObject` 来调用这个对象所代表的可调用实体[^2]。 ```cpp PyObject* callback; // 这里假设已经设置了有效的回调对象 /* 当某个条件满足时 */ if(/* condition */){ PyObject_CallObject(callback, NULL); // 调用Python回调函数 } ``` #### 结合 Qt 框架下的应用案例 对于基于Qt的应用程序来说,可能更倾向于利用其内置的支持来进行跨语言交互。在这种情况下,除了上述提到的技术外,还可以考虑使用信号槽机制来简化不同组件间的通信过程。例如,可以在主线程之外建立专门的工作线程用于处理来自 Python 的请求,并借助于这些特性同步两者之间的状态变化[^3]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值