Python 中「cat」子程序的平行執行
下面的程式碼片段示範了多個「cat |」的順序執行zgrep ' 命令在遠端伺服器上，單獨收集它們的輸出。
<code class="python">import multiprocessing as mp
class MainProcessor(mp.Process):
def __init__(self, peaks_array):
super(MainProcessor, self).__init__()
self.peaks_array = peaks_array
def run(self):
for peak_arr in self.peaks_array:
peak_processor = PeakProcessor(peak_arr)
peak_processor.start()
class PeakProcessor(mp.Process):
def __init__(self, peak_arr):
super(PeakProcessor, self).__init__()
self.peak_arr = peak_arr
def run(self):
command = 'ssh remote_host cat files_to_process | zgrep --mmap "regex" '
log_lines = (subprocess.check_output(command, shell=True)).split('\n')
process_data(log_lines)</code>但是，這種方法會導致「ssh ... cat ...」指令的順序執行。這個問題可以透過修改程式碼來並行運行子進程，同時仍然單獨收集它們的輸出來解決。
解決方案
要在Python中實現子進程的並行執行，您可以使用「subprocess」模組中的「Popen」類別。這是修改後的程式碼：
<code class="python">from subprocess import Popen
import multiprocessing as mp
class MainProcessor(mp.Process):
def __init__(self, peaks_array):
super(MainProcessor, self).__init__()
self.peaks_array = peaks_array
def run(self):
processes = []
for peak_arr in self.peaks_array:
command = 'ssh remote_host cat files_to_process | zgrep --mmap "regex" '
process = Popen(command, shell=True, stdout=PIPE)
processes.append(process)
for process in processes:
log_lines = process.communicate()[0].split('\n')
process_data(log_lines)</code>此程式碼建立多個「Popen」進程，每個進程運行「cat |」之一。 zgrep' 命令。 'communicate()' 方法用於收集每個進程的輸出，然後將其傳遞給 'process_data' 函數。
注意： 直接使用 'Popen' 類別不會不需要明確的執行緒或多處理機制來實現並行性。它在同一線程內同時處理多個子進程的建立和執行。
以上是如何實現\'cat | 的並行執行zgrep\' 在 Python 中使用子程序的指令？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
