首页 > 后端开发 > php教程 > php爬虫:百万级别知乎用户数据爬取与分析

php爬虫:百万级别知乎用户数据爬取与分析

WBOY
发布: 2016-06-06 15:35:13
原创
1163 人浏览过

php爬虫:百万级别知乎用户数据爬取与分析

代码托管地址:https:////m.sbmmt.com/hhqcontinue/zhihuSpider

文/Hector

这次抓取了110

php爬虫:百万级别知乎用户数据爬取与分析

万的用户数据,数据分析结果如下:

开发前的准备

安装linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu;

安装PHP5.6或以上版本;

安装curl、pcntl扩展。

使用PHP的curl扩展抓取页面数据

PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板