Detaillierte Erläuterung der Methode zur Aufzeichnung des Suchmaschinen-Crawling-Prozesses in PHP

Dieses Mal werde ich Ihnen den Crawling-Prozess der PHP-DatensatzsucheIndex ausführlich erläutern. Welche Vorsichtsmaßnahmen sind für den Crawling-Prozess der PHP-Datensatzsuche zu beachten? Werfen wir einen Blick darauf.

Das Folgende ist der vollständige Code:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH ist der Stammverzeichnispfad der Definition unter index.PHP, was bedeutet, dass die Datei robotslogs.txt im Stammverzeichnis abgelegt wird.

Rufen Sie den Spider-Crawling-Datensatz über get_naps_bot() ab, verarbeiten Sie ihn dann über Addslashes und speichern Sie die Daten in der -Variable $tlc_thispage.

fopen öffnet die Datei robotslogs.txt, schreibt die Daten über die Funktion fwrite und schließt sie über die Funktion fclose.

Da ich es für unnötig hielt, habe ich den Code auf meiner Website gelöscht, sodass es keine Beispiele für den Effekt gibt.

PS: PHP-Code zum Abrufen der Crawling-Datensätze jeder Suchspinne

Unterstützt die folgenden Suchmaschinen: Baidu, Google, Bing, Yahoo , Soso, Sogou, Yodao Crawlen von Website-Datensätzen!

Code:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by www.jb51.net
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER[&#39;HTTP_USER_AGENT&#39;]); 
if (strpos($useragent, &#39;googlebot&#39;) !== false){ 
return &#39;Google&#39;; 
} 
if (strpos($useragent, &#39;baiduspider&#39;) !== false){ 
return &#39;Baidu&#39;; 
} 
if (strpos($useragent, &#39;msnbot&#39;) !== false){ 
return &#39;Bing&#39;; 
} 
if (strpos($useragent, &#39;slurp&#39;) !== false){ 
return &#39;Yahoo&#39;; 
} 
if (strpos($useragent, &#39;sosospider&#39;) !== false){ 
return &#39;Soso&#39;; 
} 
if (strpos($useragent, &#39;sogou spider&#39;) !== false){ 
return &#39;Sogou&#39;; 
} 
if (strpos($useragent, &#39;yodaobot&#39;) !== false){ 
return &#39;Yodao&#39;; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER[&#39;HTTP_USER_AGENT&#39;]); 
$url=$_SERVER[&#39;HTTP_REFERER&#39;]; 
$file="www.jb51.net.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

Ich glaube, dass Sie die Methode beherrschen, nachdem Sie den Fall in diesem Artikel gelesen haben, achten Sie bitte auf andere Verwandte Artikel auf der chinesischen PHP-Website!

Empfohlene Lektüre:

Welche Methoden gibt es für PHP, um lokale JSON-Dateien zu lesen?

Wozu dienen die Methoden? PHP zur Ausgabe von JSON-Objekten? Der Wert von

Das obige ist der detaillierte Inhalt vonDetaillierte Erläuterung der Methode zur Aufzeichnung des Suchmaschinen-Crawling-Prozesses in PHP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!