Scrapy는 AJAX 기반 웹사이트에서 동적 콘텐츠를 어떻게 검색할 수 있나요?

class MySpider(scrapy.Spider):
    ...
    def parse(self, response):
        # Extract the URL for the AJAX request
        ajax_url = response.css('script').re('url_list_gb_messages="(.*)"')[0]

        # Create a FormRequest with the appropriate form data
        yield FormRequest(ajax_url, callback=self.parse_ajax,
                          formdata={'page': '1', 'uid': ''})

    def parse_ajax(self, response):
        # Parse the JSON response and extract the desired data
        json_data = json.loads(response.body)
        for item in json_data['items']:
            yield {
                'author': item['author'],
                'date': item['date'],
                'message': item['message'],
                ...
            }