python多进程控制学习小结

主要介绍了python多进程控制学习小结，想要充分利用多核CPU资源，Python中大部分情况下都需要使用多进程，Python中提供了multiprocessing这个包实现多进程。感兴趣的小伙伴们可以参考一下 Python中的多进程控制是利用`multiprocessing`模块来实现的，这一模块允许程序员创建和管理多个独立的进程，从而能够充分利用多核CPU的计算能力。与多线程相比，多进程具有更高的稳定性和安全性，因为每个进程都有独立的内存空间，避免了线程间的共享数据可能导致的问题。 `multiprocessing`模块的核心类是`Process`，它用于创建新的进程。创建进程的基本语法如下： ```python from multiprocessing import Process def target_function(args): # 进程执行的代码 p = Process(target=target_function, args=(arg1, arg2, ...)) p.start() p.join() ``` - `group` 参数通常不用设置，保持为空即可。 - `target` 是要执行的函数或方法，当`start()`被调用时，`target`会被执行。 - `name` 可以指定进程的名称，便于识别。 - `args` 是一个元组，传递给`target`函数的参数。 - `kwargs` 是一个字典，传递给`target`函数的关键字参数。 `Process`类提供了几个重要的方法： - `run()`：这是进程执行的主要逻辑，可以重写以定制进程的行为。 - `start()`：启动进程，每个进程对象都必须调用此方法来激活进程。 - `join([timeout])`：等待进程结束，可选地设置超时时间。不设置超时则会一直等待，直到进程结束。 - `is_alive()`：返回进程是否还在运行，返回值为布尔类型。 - `daemon`：设置进程为守护进程，如果设置为`True`，则进程会在主进程结束后自动结束。 - `pid`：获取进程的唯一标识符（PID）。 - `exitcode`：进程退出时的值，如果进程还没结束，值为`None`，负值表示进程被异常终止。 - `terminate()`：强制终止进程。 以下是一个简单的多进程示例，展示了如何启动并监控进程： ```python import multiprocessing import time def worker(num): time.sleep(1) print(f'这是子进程[{num}]...', flush=True) if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) print(f'启动进程数:{i}', flush=True) p.start() p.daemon = True ``` 在实际应用中，多进程控制不仅限于简单地并发执行任务。例如，当需要处理大量任务时，可能需要限制同时运行的进程数量，如每次只并发5个任务。这种情况下，我们需要一个任务队列来管理待处理的任务，使用`Pool`类可以方便地实现这样的功能。`Pool`允许我们指定最大并发进程数，并提供`apply_async`或`map`方法来异步执行任务。此外，为了确保所有任务都被处理，即使某些任务执行时间较长，我们可以使用`join`来等待所有进程完成。 Python的`multiprocessing`模块提供了强大的多进程控制功能，让开发者能够有效地利用多核CPU资源，提高程序的并行处理能力。理解并熟练运用`Process`类及其相关方法，以及如何结合任务队列和`Pool`进行进程管理，是编写高效并发程序的关键。