Beispiel für die Verwendung von PHP zum Crawlen von Baidu Reading-PHP-Tutorial-php.cn

Beispiel für die Verwendung von PHP zum Crawlen von Baidu Reading

黄舟

Freigeben： 2023-03-05 22:40:02

Original

1900 Leute haben es durchsucht

Vorwort

In diesem Artikel wird hauptsächlich die Verwendung von PHP zum Erfassen von Baidu Reading vorgestellt. Im Folgenden gibt es nicht viel zu sagen, werfen wir einen Blick darauf.

Die Crawling-Methode ist wie folgt

Öffnen Sie zunächst die Leseseite im Browser, überprüfen Sie den Quellcode und stellen Sie fest, dass der Inhalt des Romans nicht direkt darauf geschrieben ist die Seite, das heißt Es wird gesagt, dass der Inhalt des Romans asynchron geladen wird.

Also habe ich die Entwicklertools von Chrome auf die Netzwerkspalte umgestellt, die Leseseite aktualisiert und mich auf die beiden Kategorien XHR und Skript konzentriert.

Nach einer Untersuchung wurde festgestellt, dass es eine JSONP-Anfrage unter der Kategorie „Skript“ gab, die eher wie der Inhalt eines Romans aussah. Die angeforderte Adresse war
//m.sbmmt.com/
Die Antwort war eine

jsonp

Nach dem Login kopieren

-Zeichenfolge, und dann stellte ich fest, dass, wenn ich das

callback=wenku7

Nach dem Login kopieren

in der Adresse entferne, ein

json

Nach dem Login kopieren

zurückgegeben wird

Zeichenfolge, daher ist sie beim Parsen sehr praktisch und kann direkt in ein Array in PHP konvertiert werden.

Analysieren wir die Struktur der zurückgegebenen Daten. Auf die zurückgegebene Zeichenfolge

json

Nach dem Login kopieren

folgt ein t-Attribut und ein c-Attribut Geben Sie die Bezeichnung dieses Knotens an, z. B. h2 p usw., das c-Attribut ist der Inhalt, es gibt jedoch zwei Möglichkeiten: eine ist eine Zeichenfolge, die andere ist ein Array, und jedes Element des Arrays ist ein Knoten.

Diese Art von Struktur lässt sich am besten analysieren und kann mit einer Rekursion durchgeführt werden

Der endgültige Code lautet wie folgt:

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = &#39;&#39;;
  if(is_string($node[&#39;c&#39;])){
   $str .= $node[&#39;c&#39;];
  }else if(is_array($node[&#39;c&#39;])){
   foreach($node[&#39;c&#39;] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node[&#39;t&#39;]){
   case &#39;h2&#39;:
    $str .= "\n\n";
    break;
   case &#39;br&#39;:
   case &#39;p&#39;:
   case &#39;p&#39;:
    $str .= "\n";
    break;
   case &#39;img&#39;:
   case &#39;span&#39;:
    break;
   case &#39;obj&#39;:
    $tmp = &#39;(&#39; . self::parseNode($node[&#39;data&#39;][0]) . &#39;)&#39;;
    $str .= str_replace("\n", &#39;&#39;, $tmp);
    break;
   default:
    trigger_error(&#39;Unkown type:&#39;.$node[&#39;t&#39;], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf(&#39;http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d&#39;, $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array(&#39;Cookie: &#39;. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = &#39;&#39;;
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error(&#39;Result is empty&#39;, E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu(&#39;49422a3769eae009581becba&#39;, &#39;8ed1dedb240b11bf0731336eff95093f&#39;, &#39;你的百度域cookie&#39;);
$yuedu->start();
$yuedu->saveTo(&#39;result.txt&#39;);

Nach dem Login kopieren

Die ersten beiden Parameter dieser Klasse können auf der Einleitungsseite des Romans abgerufen werden. Der erste Parameter

bookId

Nach dem Login kopieren

ist

url

Nach dem Login kopieren

ebook

Nach dem Login kopieren

Die Zeichenfolge gefolgt von

, dem zweiten Parameter

bookToken

Nach dem Login kopieren

, wird im Quellcode der Seite nach

bdjsonUrl

Nach dem Login kopieren

durchsucht, dem Einer nach dem

Nach dem Login kopieren

Parameter Strings sind.

Hinweis: Wenn Baidu

cookie

Nach dem Login kopieren

nicht übergeben wird oder Baidu

cookie

Nach dem Login kopieren

ungültig ist, gilt nur der kostenlose Leseteil Um den gesamten Inhalt zu erfassen, müssen Sie sicherstellen, dass

cookie

Nach dem Login kopieren

normal verwendet werden kann.

Zusammenfassung

Das Obige ist ein Beispiel für die Verwendung von PHP zum Crawlen von Baidu Reading. Weitere verwandte Inhalte finden Sie unter PHP chinesische Website (m.sbmmt.com)!