Als ich heute die Funktion „curl_init“ zum Crawlen der Webseiten von Sohu verwendete, stellte ich fest, dass die gesammelten Webseiten verstümmelt waren. Nach der Analyse stellte ich fest, dass der Server die GZIP-Komprimierungsfunktion aktiviert hatte. Fügen Sie einfach mehrere Optionen CURLOPT_ENCODING zur Funktion curl_setopt hinzu, um gzip zu analysieren, und Sie können es korrekt dekodieren.
Auch wenn die erfasste Webseite in GBK codiert ist, das Skript jedoch tatsächlich in utf-8 codiert ist, muss die erfasste Webseite mit der Funktion mb_convert_encoding konvertiert werden.
<?php $tmp = sys_get_temp_dir(); $cookieDump = tempnam($tmp, 'cookies'); $url = 'http://tv.sohu.com'; $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, $url); curl_setopt ($ch, CURLOPT_HEADER, 1);// 显示返回的Header区域内容 curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转 curl_setopt ($ch, CURLOPT_TIMEOUT, 10);// 设置超时限制 curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回 curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);// 链接超时限制 curl_setopt ($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));//设置 http 头信息 curl_setopt ($ch, CURLOPT_ENCODING, 'gzip,deflate');//添加 gzip 解码的选项,即使网页没启用 gzip 也没关系 curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookieDump); // 存放Cookie信息的文件名称 $content = curl_exec($ch); // 把抓取的网页由 GBK 转换成 UTF-8 $content = mb_convert_encoding($content,"UTF-8","GBK"); ?>
<?php $url = 'http://tv.sohu.com'; // 只要添加 compress.zlib 选项,即使服务器启用了gzip 压缩功能,就能够解码了 $content = file_get_contents("compress.zlib://".$url); // 把抓取的网页由 GBK 转换成 UTF-8 $content = mb_convert_encoding($content,"UTF-8","GBK"); ?>