Python의 다중 처리에서는 대규모 데이터 구조가 공유되거나 복사됩니까?

멀티프로세싱의 공유 메모리

Python의 멀티프로세싱 모듈에서는 대규모 데이터 구조가 프로세스 간에 공유되거나 복사되는지 여부가 문제가 됩니다.

원래 고려 사항

multiprocessing.Process를 사용하여 여러 프로세스를 생성하고 큰 목록을 인수로 전달할 때 문제는 이러한 목록이 각 프로세스에 대해 복사되는지 아니면 서로 공유되는지입니다. 그들을. 각 프로세스에서 복사본을 만들면 메모리 사용량이 크게 늘어날 수 있습니다.

쓰기 시 복사

Linux는 쓰기 시 복사 방식을 사용합니다. 데이터는 수정될 때까지 물리적으로 복사되지 않습니다. 이는 각 하위 프로세스에 대해 목록이 중복되지 않음을 의미합니다.

참조 카운팅

그러나 객체에 액세스하면 참조 카운트가 업데이트됩니다. 하위 프로세스가 목록 요소에 액세스하면 참조 횟수가 늘어납니다. 결과적으로 전체 개체(목록)가 복사될지 여부가 불분명합니다.

메모리 사용량 모니터링

관찰 결과 전체 개체가 실제로 복사되는 것으로 나타났습니다. 참조 계산으로 인해 각 하위 프로세스마다 중복됩니다. 목록을 수정할 수 없고 참조 횟수가 항상 양수인 경우 문제가 됩니다.

Python 3.8.0의 공유 메모리

Python 3.8.0에서는 'true'를 도입합니다. multiprocessing.shared_memory 모듈을 사용하는 공유 메모리. 이를 통해 복사하지 않고도 여러 프로세스에서 액세스할 수 있는 공유 메모리 개체를 명시적으로 생성할 수 있습니다.

요약하면 Linux의 쓰기 중 복사 접근 방식은 대규모 데이터 구조를 복사할 가능성을 줄이지만 참조 카운팅은 실제 복사로 이어집니다. Python 3.8.0에서 '진정한' 공유 메모리를 사용하면 명시적으로 공유 객체를 생성하기 위한 메커니즘을 제공하여 이 문제를 해결합니다.

위 내용은 Python의 다중 처리에서는 대규모 데이터 구조가 공유되거나 복사됩니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!