采集遇到一个怪异有关问题-php教程-PHP中文网

采集遇到一个怪异有关问题

2016-06-13 10:11:46原创

采集遇到一个怪异问题
目标地址 www.zhibo8.com

本地环境：windows xp + xmapp 1.7.7
file_get_contents 或者 curl 都没问题，首页面完全获取；

放到国外的服务器上，linux, Apache 2.0
file_get_contents 为空
curl 会和浏览器访问打开的不一致，内容少好多，但是结束标签是全的。

而且我用curl发送模拟浏览器的全部header也是一样不完整。

请大伙帮分析一下，可能存在的原因及如何解决，谢谢！

------解决方案--------------------
估计是linux环境的问题吧
我之前抓www.fblife.com也是windows下curl测试通过，但同样代码linux下就得不到完整的
这个网站我在Ubuntu9.10下CURL测试通过，可以抓取完整，不知道是不是你linux配置问题？
------解决方案--------------------
暂时木有。。。很纠结
说来奇怪，程序放到网站目录下，从浏览器访问程序文件抓取的信息很完整，linux，windows都可以，但是，linux后台抓取就是不行，怎么做都抓不全，我估计可能是linux配置的问题。楼主可以试一下wget命令
------解决方案--------------------
服务器的网络.访问国内的不行.这个是我的猜测.在国内主机上多半没问题
------解决方案--------------------
看看编码问题吧
$string = iconv('gb2312', 'utf-8//ignore', $string);
------解决方案--------------------
到国外的服务器上
file_get_contents 为空
可能未开放权限，也可能超时

curl 会和浏览器访问打开的不一致，内容少好多
那是一个纯中文网站，在国外看不到或看不全是很正常的。没有多少人能看懂中文
当然也与超时和curl支持库有关
------解决方案--------------------
这就是一种优越性
------解决方案--------------------

探讨

发现一个很悲催的问题，设置项太多了，就会出问题

function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_RETURNT……

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。

专题推荐：curl linux contents CURLOPT windows

上一篇：数据无法写入数据库解决思路下一篇：怎么快速掌握一個php寫的cms

独孤九贱(3)_JavaScript视频教程

javascript是运行在浏览器上的脚本语言，连续多年，被评为全球最受欢迎的编程语言。是前端开发必备三大法器中，最具杀伤力。如果前端开发是降龙十八掌，好么javascript就是第18掌：亢龙有悔。没有它，你的前端生涯是不完整的。《php.cn独孤九贱（3）－JavaScript视频教程》课程特色：php中文网原创幽默段子系列课程，以恶搞，段子为主题风格的php视频教程！轻松的教学风格，简短的教学模式，让同学们在不知不觉中，学会了javascript知识。

独孤九贱(6)_jQuery视频教程

jQuery是一个快速、简洁的JavaScript框架。设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。核心特性可以总结为：具有独特的链式语法和短小清晰的多功能接口；具有高效灵活的css选择器，并且可对CSS选择器进行扩展；拥有便捷的插件扩展机制和丰富的插件。兼容各种主流浏览器，如IE 6.0+、FF 1.5+、Safari 2.0+、Opera 9.0+等,是全球最流行的前端开发框架之一。PHP中文网根据最新版本,独家录制jQuery最新视频教程,回馈PHP中文网的新老用户。

采集遇到一个怪异有关问题

相关文章推荐

相关课程推荐

javascript初级视频教程

jquery 基础视频教程

javascript三级联动视频教程

独孤九贱(3)_JavaScript视频教程

独孤九贱(6)_jQuery视频教程

全部评论我要评论

PHP中文网