简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Heim > Backend-Entwicklung > PHP-Tutorial > Hauptteil

利用curl，正则表达式做的一个php蜘蛛抓取器

WBOY
Freigeben： 2016-07-25 09:08:53
Original
1137 Leute haben es durchsucht
凤网fcms内容管理系统
get.php 抓取框架，对网页内容的分析处理并进行相关替换
std.php 通用正则
news_67_com.php 对http://news.67.com 的抓取分析器
先抓列表，再抓内容页。
还欠缺监控，统计，错误处理功能。个人觉得还是比较好玩。
  1. include_once dirname(__FILE__) . '/std.php';
  3. $site = array(
  4. 'aname' => '中国娱乐网',
  5. 'domain' => 'news.67.com',
  6. 'dirname' => '目录名称，用于匹配基于目录不同的正文',
  7. 'gettype' => 'default',
  8. //获取主文件
  9. 'creg' => '/(?si)(.*?)\/',
  10. 'code' => 'utf-8',
  11. 'sub' => '获取子目录正则',
  12. 'content' => 'tag1',
  13. 'img_upload'=> array('tag1' => ''),
  14. //下一页
  15. 'reg_next' => '/(?is)下一页\>\>/',
  16. 'key0' => '/(?is)/',
  17. 'key0_ap' => array(array(',', '|'), ' '),
  18. 'tag0' => '/(?is)

    ([^]*?)/',

  19. 'tag0_arp' => array(
  20. array(
  21. '/(?is)\(组图\)/',
  22. '/(?is)\(图\)/',
  23. '/(?is)\(图\.\./',
  24. '/(?is)\(组图\.\./',
  25. '/(?is)\./',
  26. '/(?is)(《|》)/',
  27. ),
  28. array(
  29. '', '', '', '', '', '',
  30. )
  31. ),
  32. 'tag1' => '/(?is)
    (.*?)[^/',
  33. 'tag1_brp' => array(
  34. array(
  35. '/(?is)（.*?）/',
  36. '/(?is)\(.*?\)/',
  37. '/(?is)\s*

    .*?利用curl，正则表达式做的一个php蜘蛛抓取器 (.*?)\s*/',

  38. '/(?is)\s*

    \s*/',

  39. '/(?is)\s*

    \s*/',

  40. '/(?is)　/',
  41. '/(?is)
    /',
  42. '/(?is)\s*

    \s*/',

  43. '/(?is)\s*

    \s*/',

  44. '/(?is)\s*
    \s*/',
  45. '/(?is)\s*\s*/',
  46. '/(?is)\s*

    \s*/',

  47. ),
  48. array(
  49. '', '', '

    利用curl，正则表达式做的一个php蜘蛛抓取器

    ', '

    ', '

    ', '', '', '

    ', '

    ', '

    ', '

    ', '

    '

  50. ),
  51. ),
  52. 'tag1_arp' => array(
  53. array(
  54. '/(?is)

     /',

  55. '/(?is)/'
  56. ),
  57. array(
  58. '', ''
  59. ),
  60. ),
  61. 'strip' => array('tag1' => ''),
  62. 'tag2' => '/(?is)
    导读：\s*(.*?)\s*/',
  63. 'tag2_arp' => array(
  64. array(
  65. '/(?is)　/'
  66. ),
  67. array(
  68. ''
  69. ),
  70. ),
  71. 'tag3' => '/(?is)(中国娱乐网)/',
  72. 'tag4' => '/(?is)
    日期：(\d+-\d+-\d+ \d+:\d+:\d+).*?/',
  73. );
  75. $map = array(
  76. 'tag' => 'key0',
  77. 'title' => 'tag0',
  78. 'content' => 'tag1',
  79. 'summary' => 'tag2',
  80. 'source' => 'tag3',
  81. 'pub_date' => 'tag4',
  82. );
  84. $site_list = array(
  85. 'aname' => '中国娱乐网',
  86. 'domain' => 'www.67.com',
  87. 'gettype' => 'default',
  88. 'creg' => '/(?si)
    (.*?)
    /',
  89. 'code' => 'gbk',
  90. 'reg_next' => '/(?si)
  91. //链接
  92. 'tag0' => '/(?is)
  93. //标题
  94. 'tag1' => '/(?is)
  95. 'tag1_arp' => array(
  96. array(
  97. '/(?is)\(组图\)/',
  98. '/(?is)\(图\)/',
  99. '/(?is)\(图\.\./',
  100. '/(?is)\(组图\.\./',
  101. '/(?is)\./',
  102. '/(?is)(《|》)/',
  103. ),
  104. array(
  105. '', '', '', '', '', '',
  106. )
  107. ),
  108. );
  110. $list_map = array(
  111. 'url' => 'tag0',
  112. 'title' => 'tag1',
  113. );
  115. $site_list_sub = array();
复制代码
  1. global $std;
  2. $std = array(
  3. 'url' => '[0-9a-zA-Z\.\:\-\/%_#;&]+',
  4. 'img' => '/(?is)利用curl，正则表达式做的一个php蜘蛛抓取器 /',
  5. );
复制代码
  1. /**
  2. * test.php
  3. *
  4. * @author xzfred
  5. * @copyright 2009 fengone.com
  6. * @created 2010-12-07 .
  7. * @version $Id: php.php 3 2008-10-10 07:49:21Z fred $
  8. * SVNPath $HeadURL: http://192.168.0.16/svn/vim/skeletons/php.php $
  9. */
  10. /*
  11. include_once "std.php";
  12. include_once "lady_163_com.php";
  13. */
  14. include_once $GLOBALS['g_dir_core'] . "get.php";
  16. //================================================================================
  17. include_once DIR_HOST_TAG . '/tuku_ent_china_com.php';
  18. $obj = new FcHtmlParse($site);
  19. $c = $obj->parse(file_get_contents("http://tuku.ent.china.com/fun/html/2011-08-23/181703.xml"));
  20. echo "\n\n\n ===================\n";
  21. echo $c['field']['tag1'][0];
  22. echo "\n\n\n ===================\n";
  23. var_dump($c);
  25. exit();
  26. //列表测试
  27. $obj = new FcHtmlParse($site_list);
  28. $c = $obj->parse(file_get_contents("http://tuku.ent.china.com/fun/html/3569_1.html"));
  29. var_dump($c);
  30. exit();
  31. /*
  33. $obj = new FcHtmlGet($site);
  34. $c = $obj->getPage('http://star.pclady.com.cn/entertainment/ss/1106/703240.html');
  35. var_dump($c);
  37. $obj = new FcHtmlGet($site);
  38. $c = $obj->getPage('http://star.pclady.com.cn/entertainment/ss/1106/703240.html');
  39. var_dump($c);
  41. $obj = new FcHtmlParse($site);
  42. $img_obj = new FcHtmlImgUpload($site);
  44. $data = file_get_contents("e:/b.html");
  45. $c = $obj->parse($data);
  46. $ic = $img_obj->upload($c['tag']['tag1'][0]);
  47. var_dump($ic);
  49. $data = file_get_contents("e:/a.html");
  50. $c = $obj->parse($data);
  51. $ic = $img_obj->upload($c['tag']['tag1'][0]);
  52. var_dump($ic);
  53. */
  55. //var_dump($c['tag']['tag1']);
复制代码
  1. include_once $GLOBALS['g_dir_core'] . 'host/std.php';
  3. $site = array(
  4. 'aname' => '中华网娱乐图库',
  5. 'domain' => 'tuku.ent.china.com',
  6. 'dirname' => '目录名称，用于匹配基于目录不同的正文',
  7. 'gettype' => 'default',
  8. //获取主文件
  9. 'creg' => '/(?si)(.*?)/',
  10. 'code' => 'utf-8',
  11. 'sub' => '获取子目录正则',
  12. 'content' => 'tag1',
  13. 'img_upload'=> array('tag1' => ''),
  14. //下一页
  15. 'reg_next' => '/(?is)
  17. //链接
  18. 'tag0' => '/(?is)
    .*?[^]*?/',
  19. 'tag0_brp' => array(
  20. array(
  21. '/(?is)\.htm/',
  22. ),
  23. array(
  24. '.xml'
  25. )
  26. ),
  27. //标题
  28. 'tag1' => '/(?is)
    .*?([^]*?)/',
  29. 'tag1_arp' => array(
  30. array(
  31. '/(?is)\(图\)/',
  32. '/(?is)\"/',
  33. '/(?is)独家：/',
  34. '/(?is)独家:/',
  35. '/(?is)(《|》)/',
  36. ),
  37. array(
  38. '', '', '', '', '',
  39. )
  40. ),
  41. );
  43. $list_map = array(
  44. 'url' => 'tag0',
  45. 'title' => 'tag1',
  46. );
  48. $site_list_sub = array();
复制代码



Verwandte Etiketten：
利用curl，正则表达式做的一个php蜘蛛抓取器
Quelle：php.cn
Vorheriger Artikel：手机号码归属地查询：PHP+MYSQL Nächster Artikel：基于Snoopy的PHP近似完美获取网站编码
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Aktuelle Ausgaben
function_exists() kann die benutzerdefinierte Funktion nicht ermitteln Funktionstest () {Verwendung der Verwendung durch -Durch -Durch -Durch -Durch -Durch -Durc...
Aus 2024-04-29 11:01:01
0
2
1750
So zeigen Sie die mobile Version von Google Chrome an Hallo Lehrer, wie kann ich Google Chrome in eine mobile Version umwandeln?
Aus 2024-04-23 00:22:19
0
10
1898
Das untergeordnete Fenster bedient das übergeordnete Fenster, aber die Ausgabe antwortet nicht. Die ersten beiden Sätze sind ausführbar, der letzte Satz jedoch nicht.
Aus 2024-04-19 15:37:47
0
1
1617
Im übergeordneten Fenster erfolgt keine Ausgabe document.onclick = function(){ window.opener.document.write('Ich bin die Ausgabe des unter...
Aus 2024-04-18 23:52:34
0
1
1527
Wo gibt es die Kursunterlagen zum CSS-Mindmapping? Kursunterlagen
Aus 2024-04-16 10:10:18
0
0
1564
verwandte Themen
Mehr>
Beliebte Empfehlungen
Beliebte Tutorials
Mehr>
Verwandte Tutorials
Beliebte Empfehlungen
Aktuelle Kurse
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website：Online-PHP-Schulung für das Gemeinwohl，Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln！