python关于多线程访问redis的问题
阿神
阿神 2017-04-18 10:16:15
0
1
481

我想实现一个类似于scrapy-redis的功能。我采用多线程(threading)或者协程(gevent)来访问redis(使用redis.py)但是在访问过程中,我发现和scrapy-redis有个区别,scrapy-redis连接redis 的client数目永远是1,我的程序因为使用并发操作client数目会暴涨,而且不明白什么原因跑一段时间后在从列表取数据的时候(lpop或者rpop之类)会卡住,一直卡住。这个问题困扰我一周了,希望有大神能解答我的疑惑

client多的时候能够上千甚至数千

阿神
阿神

闭关修行中......

reply all(1)
巴扎黑
  1. Reduce clients, such as using connection pool
    https://segmentfault.com/q/10...

>>> pool = redis.ConnectionPool(host='localhost', port=6379, db=0)
>>> r = redis.Redis(connection_pool=pool)
  1. The stuck may be because the list has no data!

Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template