여러 `cat | zgrep` 명령이 Python과 병렬로 사용됩니까?

Python: Cat 하위 프로세스를 병렬로 실행

이 스크립트는 여러 cat | 원격 서버에서 zgrep 명령을 실행하고 추가 처리를 위해 해당 출력을 개별적으로 캡처합니다. 그러나 현재 구현에서는 이러한 명령을 순차적으로 실행하므로 성능이 저하됩니다.

이 문제를 해결하기 위해 Python의 병렬 처리 기능을 활용할 수 있습니다. 다음과 같이 코드를 수정하면 각 명령에 대한 출력을 개별적으로 수집하는 기능을 계속 유지하면서 하위 프로세스 호출을 병렬로 실행할 수 있습니다.

<code class="python">import asyncio
import sys
from subprocess import Popen, PIPE, STDOUT

# Run commands in parallel
processes = [Popen('ssh remote_host cat files_to_process | zgrep --mmap "regex"',
                     shell=True, stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
              for _ in range(5)]

# Collect outputs in parallel
def get_lines(process):
    return process.communicate()[0].splitlines()

outputs = [get_lines(process) for process in processes]</code>

이 업데이트된 코드는 하위 프로세스 모듈의 Process 클래스를 활용하여 다음을 수행합니다. 각 명령에 대한 하위 프로세스를 만듭니다. 그런 다음 통신 방법을 사용하여 각 프로세스의 출력을 캡처합니다. stdin 매개변수에 대한 입력으로 빈 문자열을 제공함으로써 하위 프로세스에 입력이 전송되지 않도록 지정할 수 있습니다.

이 스크립트는 또한 목록 이해를 사용하여 프로세스 목록과 동시에 출력 목록. 이 접근 방식은 멀티프로세싱이나 스레딩을 사용하는 것보다 더 간단하고 간결한 구현을 제공합니다.

또한 스크립트는 close_fds 매개변수를 사용하여 하위 프로세스에 대한 파일 설명자가 사용된 후에 닫히도록 합니다. 이는 하위 프로세스가 병렬로 실행될 때 잠재적인 리소스 누출이나 오류를 방지하는 데 도움이 됩니다.

위 내용은 여러 `cat | zgrep` 명령이 Python과 병렬로 사용됩니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!