如何在多处理中共享大型只读数组和 Python 对象而不产生内存开销？

多处理中的共享内存对象

问题：

在多处理中，如何共享一个大型的、可读取的对象仅数组或任意 Python 对象跨多个进程而不会产生内存开销？

答案：

在使用写时复制 fork() 语义的操作系统中，未更改的数据结构仍然可供所有子进程使用，而无需额外的内存消耗。只需确保共享对象保持不变即可。

对于数组：

高效方法：

1. 打包数组转换为高效的数组结构（例如 numpy 数组）。
2. 将数组放入共享内存中。
3. 用 multiprocessing.Array 包装共享数组。
4. 传递共享内存数组到您的函数。

可写共享对象：

• 需要同步或锁定。

• 多处理提供两个方法：

  • 共享内存：适用于简单值、数组或ctypes（快速）。
  • 管理器代理：进程持有内存，管理器仲裁其他人的访问（由于序列化/反序列化而速度较慢）。

任意 Python 对象：

• 使用管理器代理方法。
• 由于通信开销，比共享内存慢。

优化问题：

开销在提供的代码片段中观察到的情况不是由内存复制引起的。相反，它源于函数参数（arr 数组）的序列化/反序列化，这在使用 Manager 代理时会导致性能损失。

以上是如何在多处理中共享大型只读数组和 Python 对象而不产生内存开销？的详细内容。更多信息请关注PHP中文网其他相关文章！