Python中生成器和yield语句的用法详解

 在开始课程之前，我要求学生们填写一份调查表，这个调查表反映了它们对Python中一些概念的理解情况。一些话题("if/else控制流" 或者 "定义和使用函数")对于大多数学生是没有问题的。但是有一些话题，大多数学生只有很少，或者完全没有任何接触，尤其是“生成器和yield关键字”。我猜这对大多数新手Python程序员也是如此。

有事实表明，在我花了大功夫后，有些人仍然不能理解生成器和yield关键字。我想让这个问题有所改善。在这篇文章中，我将解释yield关键字到底是什么，为什么它是有用的，以及如何来使用它。

注意：最近几年，生成器的功能变得越来越强大，它已经被加入到了PEP。在我的下一篇文章中，我会通过协程(coroutine)，协同式多任务处理(cooperative multitasking)，以及异步IO(asynchronous I/O)(尤其是GvR正在研究的 "tulip" 原型的实现)来介绍yield的真正威力。但是在此之前，我们要对生成器和yield有一个扎实的理解.

协程与子例程

我们调用一个普通的Python函数时，一般是从函数的第一行代码开始执行，结束于return语句、异常或者函数结束（可以看作隐式的返回None）。一旦函数将控制权交还给调用者，就意味着全部结束。函数中做的所有工作以及保存在局部变量中的数据都将丢失。再次调用这个函数时，一切都将从头创建。

对于在计算机编程中所讨论的函数，这是很标准的流程。这样的函数只能返回一个值，不过，有时可以创建能产生一个序列的函数还是有帮助的。要做到这一点，这种函数需要能够“保存自己的工作”。

我说过，能够“产生一个序列”是因为我们的函数并没有像通常意义那样返回。return隐含的意思是函数正将执行代码的控制权返回给函数被调用的地方。而"yield"的隐含意思是控制权的转移是临时和自愿的，我们的函数将来还会收回控制权。

在Python中，拥有这种能力的“函数”被称为生成器，它非常的有用。生成器（以及yield语句）最初的引入是为了让程序员可以更简单的编写用来产生值的序列的代码。 以前，要实现类似随机数生成器的东西，需要实现一个类或者一个模块，在生成数据的同时保持对每次调用之间状态的跟踪。引入生成器之后，这变得非常简单。

为了更好的理解生成器所解决的问题，让我们来看一个例子。在了解这个例子的过程中，请始终记住我们需要解决的问题：生成值的序列。

注意：在Python之外，最简单的生成器应该是被称为协程（coroutines）的东西。在本文中，我将使用这个术语。请记住，在Python的概念中，这里提到的协程就是生成器。Python正式的术语是生成器；协程只是便于讨论，在语言层面并没有正式定义。

例子：有趣的素数

假设你的老板让你写一个函数，输入参数是一个int的list，返回一个可以迭代的包含素数1 的结果。

记住，迭代器（Iterable） 只是对象每次返回特定成员的一种能力。

你肯定认为"这很简单"，然后很快写出下面的代码：
 

def get_primes(input_list):
  result_list = list()
  for element in input_list:
    if is_prime(element):
      result_list.append()
 
  return result_list
 
# 或者更好一些的...
 
def get_primes(input_list):
  return (element for element in input_list if is_prime(element))
 
# 下面是 is_prime 的一种实现...
 
def is_prime(number):
  if number > 1:
    if number == 2:
      return True
    if number % 2 == 0:
      return False
    for current in range(3, int(math.sqrt(number) + 1), 2):
      if number % current == 0:
        return False
    return True
  return False

def get_primes(start):
  for element in magical_infinite_range(start):
    if is_prime(element):
      return element
假设这样去调用get_primes：
 
def solve_number_10():
  # She *is* working on Project Euler #10, I knew it!
  total = 2
  for next_prime in get_primes(3):
    if next_prime < 2000000:
      total += next_prime
    else:
      print(total)
      return

>>> def simple_generator_function():
>>>  yield 1
>>>  yield 2
>>>  yield 3
这里有两个简单的方法来使用它：
 
>>> for value in simple_generator_function():
>>>   print(value)
1
2
3
>>> our_generator = simple_generator_function()
>>> next(our_generator)
1
>>> next(our_generator)
2
>>> next(our_generator)
3

>>> our_generator = simple_generator_function()
>>> for value in our_generator:
>>>   print(value)
 
>>> # 我们的生成器没有下一个值了...
>>> print(next(our_generator))
Traceback (most recent call last):
 File "<ipython-input-13-7e48a609051a>", line 1, in <module>
  next(our_generator)
StopIteration
 
>>> # 然而，我们总可以再创建一个生成器
>>> # 只需再次调用生成器函数即可
 
>>> new_generator = simple_generator_function()
>>> print(next(new_generator)) # 工作正常
1

def solve_number_10():
  # She *is* working on Project Euler #10, I knew it!
  total = 2
  for next_prime in get_primes(3):
    if next_prime < 2000000:
      total += next_prime
    else:
      print(total)
      return

def get_primes(number):
  while True:
    if is_prime(number):
      yield number
    number += 1 # <<<<<<<<<<

def print_successive_primes(iterations, base=10):
  # 像普通函数一样，生成器函数可以接受一个参数
  
  prime_generator = get_primes(base)
  # 这里以后要加上点什么
  for power in range(iterations):
    # 这里以后要加上点什么
 
def get_primes(number):
  while True:
    if is_prime(number):
    # 这里怎么写?
 get_primes的后几行需要着重解释。yield关键字返回number的值，而像 other = yield foo 这样的语句的意思是，"返回foo的值，这个值返回给调用者的同时，将other的值也设置为那个值"。你可以通过send方法来将一个值”发送“给生成器。
 
def get_primes(number):
  while True:
    if is_prime(number):
      number = yield number
    number += 1

def print_successive_primes(iterations, base=10):
  prime_generator = get_primes(base)
  prime_generator.send(None)
  for power in range(iterations):
    print(prime_generator.send(base ** power))

import random
 
def get_data():
  """返回0到9之间的3个随机数"""
  return random.sample(range(10), 3)
 
def consume():
  """显示每次传入的整数列表的动态平均值"""
  running_sum = 0
  data_items_seen = 0
 
  while True:
    data = yield
    data_items_seen += len(data)
    running_sum += sum(data)
    print('The running average is {}'.format(running_sum / float(data_items_seen)))
 
def produce(consumer):
  """产生序列集合，传递给消费函数（consumer）"""
  while True:
    data = get_data()
    print('Produced {}'.format(data))
    consumer.send(data)
    yield
 
if __name__ == '__main__':
  consumer = consume()
  consumer.send(None)
  producer = produce(consumer)
 
  for _ in range(10):
    print('Producing...')
    next(producer)