如何并行化简单的 Python 循环以克服 GIL 限制？

Mary-Kate Olsen

发布： 2024-11-30 14:49:11

原创

422 人浏览过

How Can I Parallelize Simple Python Loops to Overcome the GIL Limitation?

并行化简单的 Python 循环

CPython 中的全局解释器锁 (GIL) 可以防止多个线程并发执行 Python 代码。因此，对于 CPU 密集型工作负载（如示例循环中所示的工作负载），利用进程更为有效。

Python 标准库提供了两种创建进程池的简单方法：

1 。多处理模块：

pool = multiprocessing.Pool(4)
out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

登录后复制

2.并发.futures.ProcessPoolExecutor：

with concurrent.futures.ProcessPoolExecutor() as pool:
    out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

登录后复制

使用任一方法，calc_stuff函数都会并行执行，并将结果收集到输出列表out1、out2和out3中。这种方法有效地并行计算并利用系统上的多个处理器。

以上是如何并行化简单的 Python 循环以克服 GIL 限制？的详细内容。更多信息请关注PHP中文网其他相关文章！

来源：php.cn

本站声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

作者最新文章