Parlons brièvement du multi-processus en python-Tutoriel Python-php.cn

Parlons brièvement du multi-processus en python

高洛峰

Libérer： 2017-02-22 10:43:11

original

1314 Les gens l'ont consulté

Le module multitraitement est l'un des modules les plus avancés et les plus puissants de la bibliothèque Python. Cet article vous donnera une brève introduction aux compétences générales du multitraitement

Le processus est géré par le système lui-même.

1 : La manière d'écrire la plus basique

from multiprocessing import Pool

def f(x):
  return x*x

if __name__ == &#39;__main__&#39;:
  p = Pool(5)
  print(p.map(f, [1, 2, 3]))
[1, 4, 9]

Copier après la connexion

2 En fait, le processus est généré via la méthode os.fork.

Sous Unix, tous les processus sont générés via la méthode fork.

multiprocessing Process
os

info(title):
  title
  , __name__
  (os, ): , os.getppid()
  , os.getpid()

f(name):
  info()
  , name

__name__ == :
  info()
  p = Process(=f, =(,))
  p.start()
  p.join()

Copier après la connexion

3. Mémoire partagée du fil de discussion

threading

run(info_list,n):
  info_list.append(n)
  info_list

__name__ == :
  info=[]
  i ():
    p=threading.Thread(=run,=[info,i])
    p.start()
[0]
[0, 1]
[0, 1, 2]
[0, 1, 2, 3]
[0, 1, 2, 3, 4]
[0, 1, 2, 3, 4, 5]
[0, 1, 2, 3, 4, 5, 6]
[0, 1, 2, 3, 4, 5, 6, 7]
[0, 1, 2, 3, 4, 5, 6, 7, 8]
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Copier après la connexion

Le processus est mémoire non partagée :

multiprocessing Process
run(info_list,n):
  info_list.append(n)
  info_list

__name__ == :
  info=[]
  i ():
    p=Process(=run,=[info,i])
    p.start()
[1]
[2]
[3]
[0]
[4]
[5]
[6]
[7]
[8]
[9]

Copier après la connexion

Si vous souhaitez partager de la mémoire, vous devez utiliser la file d'attente

multiprocessing Process, Queue
f(q,n):
  q.put([n,])

__name__ == :
  q=Queue()
  i ():
    p=Process(=f,=(q,i))
    p.start()
  :
    q.get()

Copier après la connexion

dans le module multitraitement

4. Verrouillage : uniquement pour le partage d'écran, car le processus est indépendant, il n'est donc pas utile pour plusieurs processus

multiprocessing Process, Lock
f(l, i):
  l.acquire()
  , i
  l.release()

__name__ == :
  lock = Lock()

  num ():
    Process(=f, =(lock, num)).start()
hello world 0
hello world 1
hello world 2
hello world 3
hello world 4
hello world 5
hello world 6
hello world 7
hello world 8
hello world 9

Copier après la connexion

5. Partage de mémoire inter-processus : Valeur, Tableau

multiprocessing Process, Value, Array

f(n, a):
  n.value = i ((a)):
    a[i] = -a[i]

__name__ == :
  num = Value(, )
  arr = Array(, ())

  num.value
  arr[:]

  p = Process(=f, =(num, arr))
  p.start()
  p.join()
0.0
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
3.1415927
[0, -1, -2, -3, -4, -5, -6, -7, -8, -9]

Copier après la connexion

Méthode de partage #manager, mais lente

multiprocessing Process, Manager

f(d, l):
  d[] = d[] = d[] = l.reverse()

__name__ == :
  manager = Manager()

  d = manager.dict()
  l = manager.list(())

  p = Process(=f, =(d, l))
  p.start()
  p.join()

  d
  l
# print &#39;-------------&#39;这里只是另一种写法
# print pool.map(f,range(10))
{0.25: None, 1: &#39;1&#39;, &#39;2&#39;: 2}
[9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

Copier après la connexion

#Asynchrone : Cette façon d'écrire est rarement utilisée

multiprocessing Pool
time
f(x):
  x*x
  time.sleep()
  x*x

__name__ == :
  pool=Pool(=)
  res_list=[]
  i ():
    res=pool.apply_async(f,[i])  res_list.append(res)

  r res_list:
    r.get(timeout=10) #超时时间

Copier après la connexion

Le synchrone l'un est appliquer

Pour plus d'articles sur le simple fait de parler du multi-processus en python, veuillez faire attention au site Web PHP chinois !