Cara Scrapy menggunakan IP proksi, ejen pengguna dan kuki untuk mengelakkan strategi anti perangkak

Dengan pembangunan perangkak web, semakin banyak tapak web dan pelayan mula menggunakan strategi anti perangkak untuk mengelakkan data daripada dirangkak secara berniat jahat. Strategi ini termasuk penyekatan IP, pengesanan ejen pengguna, pengesahan Kuki, dsb. Tanpa strategi tindak balas yang sepadan, perangkak kami dengan mudah boleh dilabel sebagai berniat jahat dan diharamkan. Oleh itu, untuk mengelakkan situasi ini, kami perlu menggunakan dasar seperti IP proksi, ejen pengguna dan kuki dalam program perangkak rangka kerja Scrapy. Artikel ini akan memperkenalkan secara terperinci cara menggunakan ketiga-tiga strategi ini.

1. IP Proksi

IP Proksi boleh mengubah alamat IP sebenar kami dengan berkesan, sekali gus menghalang pelayan daripada mengesan program perangkak kami. Pada masa yang sama, IP proksi juga memberi kami peluang untuk merangkak di bawah berbilang IP, dengan itu mengelakkan situasi di mana satu IP disekat kerana permintaan yang kerap.

Dalam Scrapy, kita boleh menggunakan middlewares untuk menetapkan IP proksi. Mula-mula, kita perlu membuat konfigurasi yang berkaitan dalam settings.py, contohnya:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

Dalam konfigurasi di atas, kami menggunakan perpustakaan scrapy_proxies untuk melaksanakan tetapan IP proksi. Antaranya, 100 mewakili keutamaan, dan semakin kecil nilainya, semakin tinggi keutamaannya. Selepas tetapan ini, semasa proses permintaan, Scrapy akan secara rawak memilih alamat IP daripada kumpulan IP proksi untuk membuat permintaan.

Sudah tentu, kami juga boleh menyesuaikan sumber IP proksi. Sebagai contoh, kita boleh menggunakan API yang disediakan oleh tapak web IP proksi percuma untuk mendapatkan IP proksi. Contoh kod adalah seperti berikut:

class GetProxy(object):
    def __init__(self, proxy_url):
        self.proxy_url = proxy_url

    def get_proxy_ip(self):
        response = requests.get(self.proxy_url)
        if response.status_code == 200:
            json_data = json.loads(response.text)
            proxy = json_data.get('proxy')
            return proxy
        else:
            return None


class RandomProxyMiddleware(object):
    def __init__(self):
        self.proxy_url = 'http://api.xdaili.cn/xdaili-api//greatRecharge/getGreatIp?spiderId=e2f1f0cc6c5e4ef19f884ea6095deda9&orderno=YZ20211298122hJ9cz&returnType=2&count=1'
        self.get_proxy = GetProxy(self.proxy_url)

    def process_request(self, request, spider):
        proxy = self.get_proxy.get_proxy_ip()
        if proxy:
            request.meta['proxy'] = 'http://' + proxy

Dalam kod di atas, kami mentakrifkan kelas RandomProxyMiddleware dan menggunakan perpustakaan Requests untuk mendapatkan IP proksi. Dengan menambahkan IP proksi pada pengepala permintaan, kami boleh menetapkan IP proksi.

2. ejen pengguna

Ejen pengguna ialah sebahagian daripada pengepala permintaan pengenalan dan mengandungi maklumat seperti peranti, sistem pengendalian dan penyemak imbas yang memulakan permintaan. Apabila banyak pelayan memproses permintaan, mereka akan menggunakan maklumat ejen pengguna dalam pengepala permintaan untuk menentukan sama ada permintaan itu adalah perangkak, sekali gus melaksanakan pemprosesan anti perangkak.

Begitu juga, dalam Scrapy, kita boleh menggunakan middlewares untuk melaksanakan tetapan ejen pengguna. Contohnya:

class RandomUserAgent(object):
    def __init__(self):
        self.user_agents = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3']
                  
    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agents)
        request.headers.setdefault('User-Agent', user_agent)

Dalam kod di atas, kami mentakrifkan kelas RandomUserAgent dan secara rawak memilih User-Agent sebagai maklumat ejen pengguna dalam pengepala permintaan. Dengan cara ini, walaupun perangkak kami menghantar sejumlah besar permintaan, ia boleh mengelak daripada dianggap sebagai perangkak berniat jahat oleh pelayan.

3. Kuki

Kuki ialah sekeping data yang dikembalikan oleh pelayan melalui medan Set-Cookie dalam pengepala respons apabila membalas permintaan. Apabila penyemak imbas memulakan permintaan kepada pelayan sekali lagi, maklumat Cookies sebelumnya akan disertakan dalam pengepala permintaan untuk mencapai pengesahan log masuk dan operasi lain.

Begitu juga, dalam Scrapy, kami juga boleh menetapkan Kuki melalui perisian tengah. Contohnya:

class RandomCookies(object):
    def __init__(self):
        self.cookies = {
            'example_cookie': 'example_value'
        }
                  
    def process_request(self, request, spider):
        cookie = random.choice(self.cookies)
        request.cookies = cookie

Dalam kod di atas, kami mentakrifkan kelas RandomCookies dan secara rawak memilih Kuki sebagai maklumat Kuki dalam pengepala permintaan. Dengan cara ini, kami boleh melaksanakan operasi pengesahan log masuk dengan menetapkan Kuki semasa proses permintaan.

Ringkasan

Dalam proses menggunakan Scrapy untuk merangkak data, adalah sangat penting untuk mengelakkan strategi anti-crawler. Artikel ini memperincikan cara menetapkan IP proksi, ejen pengguna, Kuki dan dasar lain melalui perisian tengah dalam Scrapy untuk menjadikan program perangkak lebih tersembunyi dan selamat.

Atas ialah kandungan terperinci Cara Scrapy menggunakan IP proksi, ejen pengguna dan kuki untuk mengelakkan strategi anti perangkak. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!