登录  /  注册
首页 > php教程 > php手册 > 正文
php 文章采集正则代码
php中文网
发布： 2016-06-13 12:19:36
原创
748人浏览过

复制代码 代码如下:


//采集html
function getwebcontent($url){
$ch = curl_init();
$timeout = 10;
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
$contents = trim(curl_exec($ch));
curl_close($ch);
return $contents;
}


//获得标题和url
$string =
getwebcontent('http://www.***.com/learn/zhunbeihuaiyun/jijibeiyun/2');
//正则匹配

  • 获取标题和地址
    preg_match_all ("/
  • (.*)<\/a>/",$string, $out, PREG_SET_ORDER);
    foreach($out as $key => $value){
    $article['title'][] = $out[$key][2];
    $article['link'][] = "http://www.***.com/learn/article/".$out[$key][1];
    }
    //根据url获取文章内容
    foreach($article['link'] as $key=>$value){
    $content_html = getwebcontent($article['link'][$key]);
    preg_match("/
    [\s|\S]*?<\/div>/",$content_html,$matches);
    $article[content][$key] = $matches[0];

    }
    //不转码还真不能保存成文件
    foreach($article[title] as $key=>$value){
    $article[title][$key] = iconv('utf-8', 'gbk', $value);//转码
    }
    //存入文件
    $num = count($article['title']);
    for($i=0; $i<$num; $i++){
    file_put_contents("{$article[title][$i]}.txt", $article['content'][$i]);
    }
    ?>

    • 相关标签：
    php 文章 采集 正则 代码 复制 代码 如下 采集 html function getwebcontent url
    来源：php中文网
    上一篇：PHP 抓取新浪读书频道的小说并生成txt电子书的代码 下一篇：php 空格,换行,跳格使用说明
    本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
    作者最新文章
    最新问题
    修复PHP中的货币格式问题 numfmt_format_currency(new NumberFormatter('en',2), 31.005, "USD") This code out...
    P粉322319601来自于2023-08-08 22:10:55
    0 1 255
    重复问题：无法使用表单将文件上传到文件夹 admin.php:AdminImage:SaleorRent:Price:Location:Area:Bedrooms:Uploadupload.php:I'mtryingtou...
    P粉764785924来自于2023-08-08 21:57:36
    0 1 249
    CodeIgniter框架故障排除 - 'ext-intl'扩展问题 我尝试通过Composer创建一个CI4项目，但出现了以下错误信息：“您的要求无法解析为可安装的软件包集。 问题1 - codeigniter4/framework[4.0....
    P粉851401475来自于2023-08-08 21:29:21
    0 1 204
    json_encode输出中不允许超过3个反斜杠。 我有一段代码，它处理非常大量的数据，并使用json_encode进行转换（大约255,000个字符）。但我注意到每次json_encode返回的结果中不会超过3个反斜杠。这是有意为...
    P粉561749334来自于2023-08-08 21:02:30
    0 1 239
    解决“不支持此路由的GET方法。支持的方法：POST”错误 不支持此路由的GET方法。支持的方法：POST。 php artisan route:cache php artisan route:clear 执行此命令需要多长时间？我需...
    P粉044526217来自于2023-08-08 20:23:40
    0 1 248
    提升Laravel 9+中AJAX的CSRF令牌管理：最佳实践 InthecontextofLaravel9+,AJAXrequestsrequireCSRFtokenexposurefornecessarysecuritymeasures.H...
    P粉242741921来自于2023-08-08 19:46:23
    0 1 179
    PHP中定义日期边界 我使用了一些日期函数，这些日期是围绕1792-1806年的法国共和。但我想知道（PHP8）日期函数是否可以处理这些日期。
    P粉546257913来自于2023-08-08 19:34:46
    0 1 169
    生成包含可变地址和文件的动态zip文件，并获取可下载链接 我想将2个文件放入一个zip文件中，一个是thanks.txt，另一个是file.dat，使用以下代码，并且链接到这个zip文件，但是我的代码运行不正确，我需要帮助来纠正和优化这段...
    P粉513318114来自于2023-08-08 19:02:30
    0 1 240
    反转PHP读取CSV文件 我有一个PHP脚本，可以读取CSV文件。我希望它从最后一行开始读取，基本上是反过来。
    P粉512729862来自于2023-08-08 18:24:19
    0 2 268
    Laravel 请求嵌套的父/子表单 我正在使用Laravel创建一个API。我已经创建了ProductRequest和ProductPriceRequest类用于请求验证，它们按预期工作。一个Product可以有多个...
    P粉446800329来自于2023-08-08 18:04:08
    0 1 265
    相关专题
    更多>
    热门推荐
    热门教程
    更多>
    相关教程
    热门推荐
    最新课程
    最新下载
    更多>
    网站特效
    网站源码
    网站素材
    前端模板
    关于我们 免责申明 意见反馈 讲师合作 广告合作 技术文章
    php中文网：公益在线php培训，帮助PHP学习者快速成长！
    关注服务号 技术交流群
    app下载
    PHP中文网订阅号
    每天精选资源文章推送
    PHP中文网APP
    随时随地碎片化学习
    PHP中文网抖音号
    发现有趣的

    Copyright 2014-2023 //m.sbmmt.com/ All Rights Reserved | 苏州跃动光标网络科技有限公司 | 苏ICP备2020058653号-1

     | 本站CDN由 数掘科技 提供

    登录PHP中文网，和优秀的人一起学习！
    全站2000+教程免费学
    微信扫码登录

  • 精品班

  • 立即咨询

  • 微信沟通

  • QQ群

  • 优惠券

  • 返回顶部