简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Home> Backend Development> PHP Tutorial> body text

抓取时ip被封禁问题

WBOY
Release： 2016-06-23 14:38:07
Original
1085 people have browsed it

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑

最近需要抓取一个站点的内容，我是用的snoopy来抓的，一开始发现会封ip后，我按照网上的解决方案将user-agent换成了google的蜘蛛的，并且用snoopy进行了伪造了ip（每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取，有什么好的解决方法吗？

回复讨论(解决方案)

应该是访问太频繁了。

应该是访问太频繁了。 那该如何解决呢，sleep吗，但是要抓取的数据量很大，如果sleep的话根本没那么多时间抓

并且用snoopy进行了伪造了ip

这个是忽悠你的..

能伪造ip？这。。。

抓太快管你是谁啊，照封

并且用snoopy进行了伪造了ip

这个是忽悠你的.. 额，原来如此

Related labels：
抓取时ip被封禁问题
source：php.cn
Previous article：php跳转语句不同写法的安全性问题 Next article：上传php 文件碰到一个问题！
Statement of this Website
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Latest Articles by Author
Latest Issues
python - 爬虫在爬取网页的时候出现了302要如何解决? 在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有...
From 2017-04-18 09:48:26
0
3
646
linux脚本中防止杀掉当前进程 job.sh: {代码...} 上面的脚本用来执行一个scrapy的抓取任务，通过crontab设置了定时启动，为防止任务重复，会先把老的任务终止： {代码...} 问题是，运行的...
From 2017-04-17 15:29:40
0
2
337
node.js - 关于抓取网页被禁止的问题 用 Node.js 的 http 来抓取某页面： {代码...} 返回的状态码是 404，但是网页能够正常访问，我用自己服务器测试也是一样，所以应该没有 ban 掉我的 ip。这是...
From 2017-04-17 11:30:38
0
6
429
php - 如何用客户端ip实现分布式爬虫 如果用服务端爬虫会遇到各种问题，如何实现访客打开网页时用访客的ip访问被爬的网站，然后把资料上传，这样可以实现分布式爬虫吗？ajax获取被爬的资料然后传到自己的服务器？ 是否已有类...
From 2017-04-11 09:46:37
0
2
283
php - 在队列中要不要设置个队列名称？ 问题是这样的，我们在向队列推任务的时候，不可避免推送的任务是多种多样的，如邮件，短信等，在后台的工作进程取任务的时候，往往思想被禁锢，认为我推任务是按分类推的，那么取是不是也要按照...
From 2017-04-10 17:55:41
0
2
149
Related Topics
More>
Popular Recommendations
Popular Tutorials
More>
Related Tutorials
Popular Recommendations
Latest courses
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn：Public welfare online PHP training，Help PHP learners grow quickly！