我想用celery+redis+requests写爬虫，自己测试了一下速度。采集url的状态码放入文件中。

from celery import Celery
import requests
app = Celery('tasks',
             broker = 'redis://localhost:6379/0',
             backend= 'redis://localhost:6379/1')

app.conf.CELERY_TASK_SERIALIZER = 'json'

@app.task
def page(url):
    p = requests.get(url).status_code
    file = open('result','a')
    file.write(str(p)+'\n')
    file.close()
    return p

结果很快很满意

/usr/bin/python2.7 /home/comboo/PycharmProjects/run.py
0.919842004776
Process finished with exit code 0

和单线程比较

34.3654260635

但是假如我输出task的结果，就会变成单线程一个个取出结果

#coding:utf-8
import time

from tasks import page

url = 'http://www.baidu.com'
# print page.delay(url).get()
cent = time.time()
for line in range(100):
    code = page.delay(url)
    print code.get()
print time.time() - cent

就是任务之外只要有语句速度就会变慢。

现在造成的结果就是，我必须写一个完整的任务，从请求到解析到下载，再到存入数据库，通过celery来调度。
但是有时候我可能不想这样做，比如写入文件，我想一次性全部写入在关闭连接，而不是写入一行关闭一次连接

有点长，谢谢大家了。