我想实现一个类似于scrapy-redis的功能。我采用多线程(threading)或者协程(gevent)来访问redis(使用redis.py)但是在访问过程中,我发现和scrapy-redis有个区别,scrapy-redis连接redis 的client数目永远是1,我的程序因为使用并发操作client数目会暴涨,而且不明白什么原因跑一段时间后在从列表取数据的时候(lpop或者rpop之类)会卡住,一直卡住。这个问题困扰我一周了,希望有大神能解答我的疑惑
client多的时候能够上千甚至数千
Reduce clients, such as using connection pool
https://segmentfault.com/q/10...
The stuck may be because the list has no data!