网页爬虫 - node.js 爬虫 外部调用函数无法获得变量值

最近想自己写个爬虫爬点小说看一下,但是碰到了一些困难 console.log(catalogUrl)能够打印出所需要的网址 但是我期望的是我在外部调用 var xxx = getCatalogUrl(book)这个函数能够获取catalogUrl这个变量的值 我试...

習慣沉默 2017-05-16 13:25:17 0  2  547

PHP爬虫是如何接入动态爬虫代理的？

php爬虫是如何接入爬虫代理的呢，之前用的是python  和php一样的 吗 接入方式？

Laical 2020-03-13 17:10:19 0  0  1129

网页爬虫 - Python爬虫入门知识

本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？

欧阳克 2017-07-05 10:34:11 0  3  1209

python - 关于爬虫爬取图片的问题？

现在的爬虫一般都是从html里面解析出图片，但问题是有的图片路径写在js里面。这个怎么爬？我知道浏览器打开f12点source可以查看里面的图片，但怎么用爬虫把source里面的资源爬出来？

我想大声告诉你 2017-06-28 09:25:40 0  2  1054

node.js - node爬虫，如何使用IP池防反爬？

问题是这样的，本菜鸟刚开始学node，当然，明显是冲着爬虫去的。然后我最近在看一本小说，但是那些免费的小说网站广告太多，所以计划写个爬虫把整本小说爬下来，但是遇到url请求次数太频繁，以至于会遭反爬，被屏...

为情所困 2017-06-05 11:13:33 0  1  1247

网页爬虫 - python requests爬虫问题

我在使用requests爬虫的时候，出现了这样一个问题，我提交账号密码后，网页首先不会提交，而是会有一个防刷的标识，url也没有改变，然后刷新之后，网页的data才被提交到另一个页面，请问我如何直接提交，或者可以...

仅有的幸福 2017-05-27 17:39:37 0  1  586

html - 爬虫时出现'DNS lookup failed”，打开网页却没问题，这是什么情况？

RT，在使用python进行爬虫，开始时一切正常，突然网页卡死，等待了一会后恢复正常，然而这时候再进行爬虫时，就会报“DNS lookup failed”，试过很多网站，网页却是正常打开。 请教原因及解决方法。跪谢！！

PHP中文网 2017-06-14 10:50:53 0  1  1256

网页爬虫 - Python requests.get 爬虫 设置代理 IP地址未改变

工作需要爬取亚马逊上面的信息，但是亚马逊反爬虫太厉害，同一个IP地址会被封。Python版本：3.6， IDE：Pycharm 2017.1在网上查了很多资料，requests库的手册也读过，但是都是同一个方法，代码如下： {代码...} ...

typecho 2017-06-12 09:24:11 0  1  1226

python - 爬虫内容保存成文本文件 编码问题

测试一个非常简单的爬虫，把一个非常简约风格的网页的文本内容保存到本地的电脑上。最后出现错误： {代码...} 代码如下： {代码...}

欧阳克 2017-06-12 09:26:21 0  1  885

网页爬虫 - python3.4.1 request模块报错 'list' object has no attribute 'get'

用python 写了一个 爬取ip地址的爬虫，由于该网站是反爬虫的，所以写了代理使用线程池开启10个线程来爬取ip地址然而直接报错'list' object has no attribute 'get'不知道如何解决，贴上本人代码。from bs4 import...

世界只因有你 2017-06-12 09:24:16 0  3  3534

网页爬虫 - Java爬虫已获取图片链接但是无法下载图片

利用爬虫在html中获取的相应图片资源src的代码是这样的 但是再通过代码将资源转成链接的形式下载图片的时候，就报了400的错误 然而，我使用chrome去测试链接是否存在是，发现，真正对方网站服务器能够识别的是 也...

黄舟 2017-05-17 10:01:58 0  2  600

python - csdn爬虫评论

https://github.com/xchaoinfo/fuck-login/blob/master/015%20CSDN/csdn.py 根据87-88行的注释说明，为什么用爬虫去评论csdn文章的时候需要转化成这个链接，这个链接是怎么得来的，我看了下网页代码没有相关链接...

仅有的幸福 2017-05-18 10:53:42 0  2  885

java - 爬虫爬取图片问题？

刚才修改了下 POM,大家可以重新下载源码 这是我写的爬虫的项目地址 项目不报错，但是问题是下载图片到本地后经常性的是图片不完整，如下： 这是下载图片的核心代码，如下： {代码...} 经过资料查询，感觉是范围请...

天蓬老师 2017-06-23 09:12:30 0  1  877

redis - 行python爬虫时，MySQL版本是5.7，总是报错

运行python爬虫时，MySQL版本是5.7，总是报错 {代码...} 问题出在什么地方？怎么解决呢？

扔个三星炸死你 2017-06-12 09:19:42 0  2  940

各位python爬虫大牛看过来,这个网站的反爬虫怎么处理

https://www.everysaving.co.uk通过python爬取这个网站的数据,然而返回不了数据,！我加入了header和代理IP去抓取,也不行,望各位大牛们不妨试试看。。。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  782

如何使用PHP爬虫采集亚马逊？

由于上次亚马逊网站升级，导致爬虫挂掉，现在亚马逊的反扒策略更加严格。导致无法正常采集。有新的采集策略吗？

Laical 2020-03-26 17:20:49 0  0  1235

selenium - 请教一下 Python 爬虫工具

1)我要抓的是 Instagram 某明星的粉丝2)Instagram pc 站使用了大量的 js 渲染3)没写过爬虫,老板明天就要数据 我目前使用的是BeautifulSoup, selenium 和phantomjs 代码 demo 大概是 {代码...} 问题是:1) 我不知道...

阿神 2017-06-28 09:22:20 0  1  1020

python - 爬虫模拟登录后，爬取csdn后台文章列表遇到的问题

爬虫确实已经登录进去了，因为我爬取个人信息是可以抓出来的，但是下图的这个网址抓不出来： 网址是：http://write.blog.csdn.net/postlist，就是你的csdn后台。 我贴下代码吧，py2.7的 {代码...} 上面的代码输出...

ringa_lee 2017-05-18 10:51:59 0  2  1094

python - 怎么用爬虫批量抓取网页中的图片？

如图，通过network查看加载图片，要一张一张右键保存很麻烦，有没有办法写个爬虫批量抓取这里的图片》？

给我你的怀抱 2017-06-28 09:25:48 0  3  1215

python - 阿里巴巴爬虫源码的应用疑惑

1.目前问题：运行该py文件，没有任何反应，请问是什么问题？2.纯新手，没接触过py，只学完初浅的html+css。但由于公司一个项目需要搜集区域的供应商信息，想到了py爬虫，便在一个科学怪咖的网站找到了一个爬取阿...

阿神 2017-06-22 11:51:27 0  1  1930