python - scrapy中使用CrawlSpider，匹配不到urls

我的爬蟲代碼如下，其中rules無獲取，不知道是什麼問題？ {代碼...} 執行報錯的提醒： {代碼...}

來自於 [Python討論組] 2017-05-18 10:51:02 0  3  870

python - 爬虫在爬取网页的时候出现了302要如何解决?

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制? 我设....

來自於 [Python討論組] 2017-04-18 09:48:26 0  3  870

Python hashlib 为何同一字符常数输出Hash不同？

在做网络安全相关的设计，用到Python hashlib。 Python代码如下： {代码...} 发现只要使用m.update(string)方法后，每次打印的摘要都是不一样的。 {代码...} 我原来理解是只要输入字...

來自於 [Python討論組] 2017-04-17 17:12:24 0  2  870

写爬虫爬网站内容时遇到ip被封，请问如何使用代理？

写爬虫爬网站内容时遇到ip被封，请问如何使用代理？用了网上搜到的http://www.cnproxy.com/ 代理服务器中的ip和端口，没有一个可以用的。。。请高手帮忙。小弟多谢

來自於 [Python討論組] 2016-11-12 14:59:38 0  3  870

python中为什么类的实例方法不可以直接访问队列全局变量？

我想在类中实例中使用全局变量队列，我创建的队列mybuffer作为全局变量，然后Producer和Consume两个类的实例中使用这个全局变量，实际在windows的cmd中的的执行情况是class Producer中的...

來自於 [Python討論組] 2017-04-18 10:15:02 0  1  869

python的logging无法输出到文件?

logging配置如下: logging.basicConfig(level=logging.DEBUG,\ {代码...} 但当在代码中使用logging.info的时候，目录下无日志文件生成。但当在控制台中运行的时候...

來自於 [Python討論組] 2017-04-18 10:07:05 0  3  869

python - seleuimn中find_element_by_xpath找不到元素

代码如图 {代码...} log报的错误是找不到元素city,我查看了self.browser的sourcepage属性,是有id属性为city的元素的.

來自於 [Python討論組] 2017-04-17 17:24:32 0  3  869

python - pygame退出不了

这断代码按下esc键后退出不了import pygamefrom pygame.locals import *screen = pygame.display.set_mode((600,500))pygame.init(...

來自於 [Python討論組] 2017-04-17 16:09:59 0  1  869

s 里 find() 问题

源码：# coding: UTF-8 from bs4 import BeautifulSoup html_doc = ""&qu...

來自於 [Python討論組] 2016-10-22 16:08:29 0  1  869

python該種情形下應該使用pickle還是csv

我手上有許多個上百M的csv儲存一些數據，需要經常使用pandas和matplotlib對這些數據讀取並進行繪圖。在繪圖之前，通常要進行預處理，切片等等清洗操作，因為要經常對figure進行交互操作和作報告，所以我在ju...

來自於 [Python討論組] 2017-05-18 11:00:47 0  2  868

python - with open as，没有文件存在，会不会新建一个？

{代码...} 如果items1.jl不存在，会不会新建一个items1.jl？

來自於 [Python討論組] 2017-04-17 16:56:53 0  1  868

python - SQLAlchemy 中的使用 flush() 和 commit() 有什么区别

commit() 和 flush() 实现的功能都一样，为什么两个要写两种，有什么特殊的区别呢？

來自於 [Python討論組] 2017-04-17 13:40:32 0  2  868

python - scrapy爬取手机版微博weibo.cn模拟登录出先问题

代码如下，不知道为什么一直不能成功登录 {代码...} 下边settins.py的内容 {代码...} 下边是输出 {代码...}

來自於 [Python討論組] 2017-04-18 10:32:50 0  1  867

subprocess - python实时获取tcpdump输出

linux tcpdump命令行执行后回显是一行一行输出的，但是如果用python的subprocess执行tcpdump命令就会成为一段一段的回显，实时性不高。这个怎么解决？有人说是tcpdump本身的原因，和linu...

來自於 [Python討論組] 2017-04-18 10:17:45 0  4  867

python - tornado怎么处理非常耗时的定时任务？

代码大致如下： {代码...} 其中update()是一个特别耗时的任务目前的做法是加大add_timeout的时间间隔，以避免两个进程全都去做update了 因为对异步编程并不熟，所以想请教一下有没有更合适的做法

來自於 [Python討論組] 2017-04-18 09:57:39 0  4  867