如何抓取BT天堂电影数据

总体来说，php抓取的速度还是蛮快的，4min不到，采集2w多条信息。

start:01:22:54

end:01:26:11

附数据库截图：

附源码：

.*?<\/span>/", $html, $pageCount);
preg_match_all("/\d{1,10000}/",$pageCount[0],$pageCount);

$pageSize = intval($pageCount[0][0]);
$movieCount = $pageCount[0][1];

$conn = mysql_connect('***','***','');
mysql_select_db('***',$conn);
mysql_query('set names utf8',$conn);

for($j=1;$j<=$pageSize;$j++){
    $movieHtml = shell_exec("curl $url?PageNo=$j");
    preg_match_all("/
.*?<\/div>/s", $movieHtml, $pageInfo);
    for($i=0;$i(.*?)/" , $pageInfo[0][$i], $movieName);
        /*****same conditions*****/
        if(empty($movieName))
            preg_match("/(.*?)/" , $pageInfo[0][$i], $movieName);
        if(empty($movieName))
            preg_match("/(.*?)<\/b>/" , $pageInfo[0][$i], $movieName);
        /************************/
        $movieName = $movieName[1];

        preg_match("/(\d{1})<\/strong>/" , $pageInfo[0][$i], $movieScore_int);
        $movieScore_int = $movieScore_int[1];
        preg_match("/(\d{1})<\/em>/" , $pageInfo[0][$i], $movieScore_decimal);
        $movieScore_decimal = $movieScore_decimal[1];
        $movieScore = floatval($movieScore_int.'.'.$movieScore_decimal);

        preg_match("/href=\"(.*?)\"//m.sbmmt.com/m/" , $pageInfo[0][$i], $movieUrl);
        $movieUrl = $movieUrl[1];

        preg_match("/
(.*?)<\/p>/" , $pageInfo[0][$i], $actor);
        $movieActor = str_replace("",'',str_replace("",'',$actor[1]));

        mysql_unbuffered_query("insert into movie (name,actor,url,update_ts,score) values ('$movieName','$movieActor','$movieUrl',	'$updateTime','$movieScore')");
    }

}

?>

本电影信息属于从BT天堂抓取，并未涉及机密信息，因此本人不承担任何法律责任！

若有相关电影信息涉及您的版权或知识产权或其他利益，请告知，确认后会尽快删除。