首頁 > php教程 > php手册 > 基于PHP采集数据入库程序(一),php采集数据入库

基于PHP采集数据入库程序(一),php采集数据入库

WBOY
發布: 2016-06-13 09:28:21
原創
773 人瀏覽過

基于PHP采集数据入库程序(一),php采集数据入库

前几天有一朋友要我帮做一个采集新闻信息的程序,抽了点时间写了个PHP版本的,随笔记录下。

说到采集,无非就是远程获取信息->提取所需内容->分类存储->读取->展示

也算是简单"小偷程序"的加强版吧

下面是对应核心代码(别拿去做坏事哦^_^)

 

所要采集的内容是某游戏网站上的公告,如下图:

可先利用file_get_contents和简单正则获取基本页面信息

整理下基本信息,采集入库:

<?<span>php
    </span><span>include_once</span>("conn.php"<span>);


     </span><span>if</span>(<span>$_GET</span>['id']<=8&&<span>$_GET</span>['id'<span>]){
         </span><span>$id</span>=<span>$_GET</span>['id'<span>];
        </span><span>$conn</span>=<span>file_get_contents</span>("http://www.93moli.com/news_list_4_<span>$id</span>.html");<span>//</span><span>获取页面内容</span>


    
    <span>$pattern</span>="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";<span>//</span><span>正则</span>

    <span>preg_match_all</span>(<span>$pattern</span>, <span>$conn</span>, <span>$arr</span>);<span>//</span><span>匹配内容到arr数组

    //print_r($arr);die;</span>
    
    <span>foreach</span> (<span>$arr</span>[1] <span>as</span> <span>$key</span> => <span>$value</span>) {<span>//</span><span>二维数组[2]对应id和[1]刚好一样,利用起key</span>
        <span>$url</span>="http://www.93moli.com/".<span>$arr</span>[2][<span>$key</span><span>];
        </span><span>$sql</span>="insert into list(title,url) value ('<span>$value</span>', '<span>$url</span>')"<span>;
        </span><span>mysql_query</span>(<span>$sql</span><span>);

        </span><span>//</span><span>echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>";    </span>
<span>    }
     </span><span>$id</span>++<span>;
     </span><span>echo</span> "正在采集URL数据列表<span>$id</span>...请稍后..."<span>;
     </span><span>echo</span> "<script>window.location='list.php?id=<span>$id</span>'</script>"<span>;

 }</span><span>else</span><span>{
     </span><span>echo</span> "采集数据结束。"<span>;
 }

</span>?>
登入後複製

 

conn.php是数据库连接文件

list.php是本页面

由于要采集的数据是分页显示的,且页面地址是规律递增,所以我用了js跳转代码,利用id传值控制采集的页数,也避免了for循环数目过大。

 

轻轻松松数据入库,下篇博客写关于具体url采集信息的过程。

 

php程序员对数据采集的要掌握程度怎?

php数据采集常见技术要领:

1、熟练正则表达式提取数据技术:提取内容关键步骤
2、熟练字符编码转换分析技术:兼容性管理以及数据有效性控制
3、熟练数据出库入库整理技术:对已采集内容的存储管理,包括数据库以及文件和进度
4、发掘数据以及网站爬行技术:分析网站结构,简化爬行手法,提高效率
5、反反采集处理技术:对于存在反采集的目标对象而设计的反反采集技术
6、多服务器并发采集管理技术:提高效率的工作方法
7、数据整理分析技术:查漏验证数据正确性有效性
8、自我身份保护技术:自身信息的保护
 

一段php采集程序 要可以采集列表及内容可以够页,并且入库 有注释最好了

phpquery 用这个,自己再写个入库,
 

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門推薦
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板