masyarakat Belajar Perpustakaan Alatan Masa lapang
cari
Melayu
Rumah > pembangunan bahagian belakang > tutorial php > 利用curl，正则表达式做的一个php蜘蛛抓取器

利用curl，正则表达式做的一个php蜘蛛抓取器

WBOY
Lepaskan： 2016-07-25 09:08:53
asal
1176 orang telah melayarinya
凤网fcms内容管理系统
get.php 抓取框架，对网页内容的分析处理并进行相关替换
std.php 通用正则
news_67_com.php 对http://news.67.com 的抓取分析器
先抓列表，再抓内容页。
还欠缺监控，统计，错误处理功能。个人觉得还是比较好玩。
  1. include_once dirname(__FILE__) . '/std.php';
  3. $site = array(
  4. 'aname' => '中国娱乐网',
  5. 'domain' => 'news.67.com',
  6. 'dirname' => '目录名称，用于匹配基于目录不同的正文',
  7. 'gettype' => 'default',
  8. //获取主文件
  9. 'creg' => '/(?si)(.*?)\/',
  10. 'code' => 'utf-8',
  11. 'sub' => '获取子目录正则',
  12. 'content' => 'tag1',
  13. 'img_upload'=> array('tag1' => ''),
  14. //下一页
  15. 'reg_next' => '/(?is)下一页\>\>/',
  16. 'key0' => '/(?is)/',
  17. 'key0_ap' => array(array(',', '|'), ' '),
  18. 'tag0' => '/(?is)

    ([^]*?)/',

  19. 'tag0_arp' => array(
  20. array(
  21. '/(?is)\(组图\)/',
  22. '/(?is)\(图\)/',
  23. '/(?is)\(图\.\./',
  24. '/(?is)\(组图\.\./',
  25. '/(?is)\./',
  26. '/(?is)(《|》)/',
  27. ),
  28. array(
  29. '', '', '', '', '', '',
  30. )
  31. ),
  32. 'tag1' => '/(?is)
    (.*?)[^/',
  33. 'tag1_brp' => array(
  34. array(
  35. '/(?is)（.*?）/',
  36. '/(?is)\(.*?\)/',
  37. '/(?is)\s*

    .*?利用curl，正则表达式做的一个php蜘蛛抓取器 (.*?)\s*/',

  38. '/(?is)\s*

    \s*/',

  39. '/(?is)\s*

    \s*/',

  40. '/(?is)　/',
  41. '/(?is)
    /',
  42. '/(?is)\s*

    \s*/',

  43. '/(?is)\s*

    \s*/',

  44. '/(?is)\s*
    \s*/',
  45. '/(?is)\s*\s*/',
  46. '/(?is)\s*

    \s*/',

  47. ),
  48. array(
  49. '', '', '

    利用curl，正则表达式做的一个php蜘蛛抓取器

    ', '

    ', '

    ', '', '', '

    ', '

    ', '

    ', '

    ', '

    '

  50. ),
  51. ),
  52. 'tag1_arp' => array(
  53. array(
  54. '/(?is)

     /',

  55. '/(?is)/'
  56. ),
  57. array(
  58. '', ''
  59. ),
  60. ),
  61. 'strip' => array('tag1' => ''),
  62. 'tag2' => '/(?is)
    导读：\s*(.*?)\s*/',
  63. 'tag2_arp' => array(
  64. array(
  65. '/(?is)　/'
  66. ),
  67. array(
  68. ''
  69. ),
  70. ),
  71. 'tag3' => '/(?is)(中国娱乐网)/',
  72. 'tag4' => '/(?is)
    日期：(\d+-\d+-\d+ \d+:\d+:\d+).*?/',
  73. );
  75. $map = array(
  76. 'tag' => 'key0',
  77. 'title' => 'tag0',
  78. 'content' => 'tag1',
  79. 'summary' => 'tag2',
  80. 'source' => 'tag3',
  81. 'pub_date' => 'tag4',
  82. );
  84. $site_list = array(
  85. 'aname' => '中国娱乐网',
  86. 'domain' => 'www.67.com',
  87. 'gettype' => 'default',
  88. 'creg' => '/(?si)
    (.*?)
    /',
  89. 'code' => 'gbk',
  90. 'reg_next' => '/(?si)
  91. //链接
  92. 'tag0' => '/(?is)
  93. //标题
  94. 'tag1' => '/(?is)
  95. 'tag1_arp' => array(
  96. array(
  97. '/(?is)\(组图\)/',
  98. '/(?is)\(图\)/',
  99. '/(?is)\(图\.\./',
  100. '/(?is)\(组图\.\./',
  101. '/(?is)\./',
  102. '/(?is)(《|》)/',
  103. ),
  104. array(
  105. '', '', '', '', '', '',
  106. )
  107. ),
  108. );
  110. $list_map = array(
  111. 'url' => 'tag0',
  112. 'title' => 'tag1',
  113. );
  115. $site_list_sub = array();
复制代码
  1. global $std;
  2. $std = array(
  3. 'url' => '[0-9a-zA-Z\.\:\-\/%_#;&]+',
  4. 'img' => '/(?is)利用curl，正则表达式做的一个php蜘蛛抓取器 /',
  5. );
复制代码
  1. /**
  2. * test.php
  3. *
  4. * @author xzfred
  5. * @copyright 2009 fengone.com
  6. * @created 2010-12-07 .
  7. * @version $Id: php.php 3 2008-10-10 07:49:21Z fred $
  8. * SVNPath $HeadURL: http://192.168.0.16/svn/vim/skeletons/php.php $
  9. */
  10. /*
  11. include_once "std.php";
  12. include_once "lady_163_com.php";
  13. */
  14. include_once $GLOBALS['g_dir_core'] . "get.php";
  16. //================================================================================
  17. include_once DIR_HOST_TAG . '/tuku_ent_china_com.php';
  18. $obj = new FcHtmlParse($site);
  19. $c = $obj->parse(file_get_contents("http://tuku.ent.china.com/fun/html/2011-08-23/181703.xml"));
  20. echo "\n\n\n ===================\n";
  21. echo $c['field']['tag1'][0];
  22. echo "\n\n\n ===================\n";
  23. var_dump($c);
  25. exit();
  26. //列表测试
  27. $obj = new FcHtmlParse($site_list);
  28. $c = $obj->parse(file_get_contents("http://tuku.ent.china.com/fun/html/3569_1.html"));
  29. var_dump($c);
  30. exit();
  31. /*
  33. $obj = new FcHtmlGet($site);
  34. $c = $obj->getPage('http://star.pclady.com.cn/entertainment/ss/1106/703240.html');
  35. var_dump($c);
  37. $obj = new FcHtmlGet($site);
  38. $c = $obj->getPage('http://star.pclady.com.cn/entertainment/ss/1106/703240.html');
  39. var_dump($c);
  41. $obj = new FcHtmlParse($site);
  42. $img_obj = new FcHtmlImgUpload($site);
  44. $data = file_get_contents("e:/b.html");
  45. $c = $obj->parse($data);
  46. $ic = $img_obj->upload($c['tag']['tag1'][0]);
  47. var_dump($ic);
  49. $data = file_get_contents("e:/a.html");
  50. $c = $obj->parse($data);
  51. $ic = $img_obj->upload($c['tag']['tag1'][0]);
  52. var_dump($ic);
  53. */
  55. //var_dump($c['tag']['tag1']);
复制代码
  1. include_once $GLOBALS['g_dir_core'] . 'host/std.php';
  3. $site = array(
  4. 'aname' => '中华网娱乐图库',
  5. 'domain' => 'tuku.ent.china.com',
  6. 'dirname' => '目录名称，用于匹配基于目录不同的正文',
  7. 'gettype' => 'default',
  8. //获取主文件
  9. 'creg' => '/(?si)(.*?)/',
  10. 'code' => 'utf-8',
  11. 'sub' => '获取子目录正则',
  12. 'content' => 'tag1',
  13. 'img_upload'=> array('tag1' => ''),
  14. //下一页
  15. 'reg_next' => '/(?is)
  17. //链接
  18. 'tag0' => '/(?is)
    .*?[^]*?/',
  19. 'tag0_brp' => array(
  20. array(
  21. '/(?is)\.htm/',
  22. ),
  23. array(
  24. '.xml'
  25. )
  26. ),
  27. //标题
  28. 'tag1' => '/(?is)
    .*?([^]*?)/',
  29. 'tag1_arp' => array(
  30. array(
  31. '/(?is)\(图\)/',
  32. '/(?is)\"/',
  33. '/(?is)独家：/',
  34. '/(?is)独家:/',
  35. '/(?is)(《|》)/',
  36. ),
  37. array(
  38. '', '', '', '', '',
  39. )
  40. ),
  41. );
  43. $list_map = array(
  44. 'url' => 'tag0',
  45. 'title' => 'tag1',
  46. );
  48. $site_list_sub = array();
复制代码



Label berkaitan：
利用curl，正则表达式做的一个php蜘蛛抓取器
sumber：php.cn
Artikel sebelumnya：手机号码归属地查询：PHP+MYSQL Artikel seterusnya：基于Snoopy的PHP近似完美获取网站编码
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Isu terkini
function_exists() tidak boleh menentukan fungsi tersuai Ujian fungsi () {return true;} jika (function_exists ('test')) {echo "test is functio...
daripada 2024-04-29 11:01:01
0
3
2166
Bagaimana untuk memaparkan versi mudah alih Google Chrome Hello cikgu, bagaimana saya boleh menukar Google Chrome kepada versi mudah alih?
daripada 2024-04-23 00:22:19
0
11
2315
Tetingkap anak mengendalikan tetingkap induk, tetapi output tidak bertindak balas. Dua ayat pertama boleh dilaksanakan, tetapi ayat terakhir tidak boleh dilaksanakan.
daripada 2024-04-19 15:37:47
0
1
1950
Tiada output dalam tetingkap induk document.onclick = function(){ window.opener.document.write('Saya adalah output tetingkap ...
daripada 2024-04-18 23:52:34
0
1
1828
Di manakah perisian kursus tentang pemetaan minda CSS? Perisian kursus
daripada 2024-04-16 10:10:18
0
0
1880
Topik-topik yang berkaitan
Lagi>
Cadangan popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan