pyinstaller冻结打包多进程程序的bug:无限创建进程直至系统崩溃

前面写过两篇相关的文章:

这两篇文章都没有提到下面的这个重要问题:

采用Pyinstaller冻结打包多进程程序时,必须非常小心。这个技术线在Windows上会有一个非常严重的Bug。直接运行打包后的程序会造成无限创建进程,直到系统崩溃。

问题描述

本文针对一个非常具体的场景,需求包括以下要素:

  • 需要用PyQt5设计GUI程序
  • 需要调用其他库完成后台计算,计算与GUI线程松耦合
  • 通过PyInstaller打包成独立可执行程序

多进程的使用

在Python的标准库中,multiprocessing模块提供了多进程的支持。

如果我们采取这个技术线,则通常采用计算进程的方式来实现。

无限循环的计算进程

def worker(iq, oq):
    while True:
        # get input from input queue
        data = iq.get()
        # process data
        result = f(data) 
        # put result to output queue
        oq.put(result)

这个是一个典型的单纯的数据处理的计算过程,f(data)是一个计算函数,iq是输入队列,oq是输出队列。这个函数的内部是一个死循环,不断地从输入队列中获取数据,然后处理数据,最后将结果放到输出队列中。函数的大部分时间预计在get()函数的阻塞(当队列中没有数据时)和f(data)的计算上。

主进程启动计算进程

import multiprocessing

if __name__ == '__main__':


    input_q = multiprocessing.Queue()
    output_q = multiprocessing.Queue()

    multiprocessing.Process(target=worker, 
        args=(input_q, output_q), 
        daemon=True).start()    

这里的daemon=True表示这个进程是一个守护进程,当主进程结束时,这个进程也会结束;否则必须要等待这个进程结束后,才能结束主进程。如果不设置这里或者daemon=False,就需要在worker函数中设置一个退出条件。例如:

def worker(iq, oq):
    while True:
        # get input from input queue
        data = iq.get()
        if data == 'EXIT':
            break
        # process data
        result = f(data
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大福是小强

除非你钱多烧得慌……

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值