Comment Scrapy peut-il extraire efficacement des données de sites Web chargés en AJAX ?

Scrapy peut-il gérer le contenu dynamique sur les sites Web AJAX ?

La bibliothèque Scrapy de Python fournit une solution efficace pour scraper des sites Web avec du contenu dynamique chargé via AJAX. Pour comprendre comment Scrapy y parvient, explorons un exemple utilisant le site Web rubin-kazan.ru.

Ce site charge dynamiquement les messages à l'aide d'AJAX. L'analyse du code source révèle l'URL et les données du formulaire utilisées pour la requête AJAX. En simulant cette requête dans Scrapy, nous pouvons récupérer les données JSON nécessaires.

Voici un extrait de code Scrapy simplifié :

import scrapy
from scrapy.http import FormRequest

class spider(scrapy.Spider):
    name = 'RubiGuesst'
    start_urls = ['http://www.rubin-kazan.ru/guestbook.html']

    def parse(self, response):
        url_list_gb_messages = re.search(r'url_list_gb_messages="(.*)"', response.body).group(1)
        yield FormRequest('http://www.rubin-kazan.ru' + url_list_gb_messages, callback=self.RubiGuessItem,
                          formdata={'page': str(page + 1), 'uid': ''})

    def RubiGuessItem(self, response):
        json_file = response.body

En parse, nous extrayons l'URL nécessaire et simulons la première demande. Dans RubiGuessItem, nous capturons la réponse JSON de la requête AJAX simulée. En utilisant cette technique, Scrapy peut efficacement récupérer même le contenu dynamique chargé via AJAX.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!