python - 如何解决queue中同一个参数被多个线程同时调用?
天蓬老师
天蓬老师 2017-04-18 10:28:48
0
1
595

本人想实现一个基础的多线程爬虫,初步想法是筛选目录中多个电影标题是否有关键字,没有的话就进入到详情页中查找电影类别中是否有关键字。
下面是一部分代码:

executor = ThreadPoolExecutor(max_workers=5)  #Future模块的多线程
executor.map(get_page,whole)   #get_page()为筛选标题的函数
time.sleep(5)
while not que.empty():
    que_data = que.get()
    filter(que_data)    #filter()为筛选分类关键字的函数,但每次五个线程同时访问同一个url

但现在每次多个线程同时调用queue中的同一个url,请问有什么解决办法吗

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!