NumPy를 가져온 후 Joblib 작업자가 하나의 코어에 멈춰 있는 이유는 무엇입니까?

다중 처리 코어 친화성 문제

특정 시나리오에서 NumPy 라이브러리를 가져오고 joblib 모듈을 사용하여 CPU 집약적인 루프를 병렬화하려고 할 때 , 루프에 할당된 작업자 프로세스가 모두 단일 코어에 국한되어 성능 향상을 방해하는 것을 볼 수 있습니다.

이 문제는 NumPy와 자주 사용되는 기본 OpenBLAS 라이브러리 간의 상호 작용으로 인해 발생합니다. 다중 스레드 작업의 경우. 기본적으로 이러한 라이브러리는 코어 선호도 설정을 방해하여 모든 작업자 프로세스가 동일한 코어에 할당될 수 있습니다.

해결책: 작업 선호도 재설정

간단한 방법 해결책은 영향을 받는 모듈을 가져온 후 os.system() 함수를 사용하여 작업 선호도를 재설정하는 것입니다. os.system("taskset -p 0xff %d" % os.getpid()) 명령을 실행하면 코어 선호도가 재설정되어 작업자 프로세스가 사용 가능한 모든 코어에 분산될 수 있습니다.

OpenBLAS CPU 선호도 재설정 비활성화

또는 OpenBLAS의 CPU 선호도 재설정 동작을 런타임이나 빌드 시 비활성화할 수 있습니다. 런타임 시 환경 변수 OPENBLAS_MAIN_FREE를 1로 설정하면 라이브러리가 코어 선호도를 조정할 수 없습니다. 또는 OpenBLAS 컴파일 프로세스 중에 Makefile.rule에 NO_AFFINITY=1을 추가하면 이 동작이 영구적으로 비활성화됩니다.

위 내용은 NumPy를 가져온 후 Joblib 작업자가 하나의 코어에 멈춰 있는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!