Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?-tutorial php-php.cn

Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?

DDD

Lepaskan： 2024-10-22 20:34:26

asal

399 orang telah melayarinya

How to Efficiently Extract Page Content Using cURL with Error Handling?

Cara Mengekstrak Kandungan Halaman Menggunakan cURL: Penyelesaian Terperinci

Memahami Isu

Apabila cuba mengikis kandungan HTML halaman web menggunakan cURL, adalah perkara biasa untuk menghadapi ralat ubah hala atau "halaman dialihkan". Ini selalunya boleh dikaitkan dengan aksara yang dikodkan khas dalam rentetan pertanyaan.

Pengoptimuman untuk cURL:

Untuk mendapatkan semula kandungan halaman dengan berkesan tanpa menghadapi isu ini, optimumkan kod cURL anda seperti berikut:

<code class="php">function get_web_page($url) {
    $user_agent='Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0';

    $options = array(
        CURLOPT_CUSTOMREQUEST  => "GET",
        CURLOPT_POST           => false,
        CURLOPT_USERAGENT      => $user_agent,
        CURLOPT_COOKIEFILE     => "cookie.txt", 
        CURLOPT_COOKIEJAR      => "cookie.txt",
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER         => false,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_ENCODING       => "",
        CURLOPT_AUTOREFERER    => true,
        CURLOPT_CONNECTTIMEOUT => 120,
        CURLOPT_TIMEOUT        => 120,
        CURLOPT_MAXREDIRS      => 10,
    );

    $ch      = curl_init($url);
    curl_setopt_array($ch, $options);
    $content = curl_exec($ch);
    $err     = curl_errno($ch);
    $errmsg  = curl_error($ch);
    $header  = curl_getinfo($ch);
    curl_close($ch);

    $header['errno']   = $err;
    $header['errmsg']  = $errmsg;
    $header['content'] = $content;
    return $header;
}</code>

Salin selepas log masuk

Contoh:

Dapatkan semula dan kendalikan kemungkinan ralat semasa membaca halaman:

<code class="php">$result = get_web_page($url);

if ($result['errno'] != 0)
    // Error handling for invalid URL, timeout, or redirect loops.

if ($result['http_code'] != 200)
    // Error handling for issues like missing page, permission denial, or unavailability.

$page = $result['content'];</code>

Salin selepas log masuk

Atas ialah kandungan terperinci Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!