应对动态内容抓取：Dermnet图片爬取中的Google CSE API应用-js教程-PHP中文网

应对动态内容抓取：Dermnet图片爬取中的Google CSE API应用

本文旨在解决从Dermnet等采用JavaScript动态加载内容的网站爬取图片时，传统BeautifulSoup或Selenium方法失效的问题。通过深入分析浏览器开发者工具中的网络请求，我们发现此类网站常通过Google Custom Search Engine (CSE) API获取图片数据。教程将详细指导如何识别并直接请求该API接口，解析返回的JSON数据以高效提取图片URL，并探讨分页处理机制，从而实现对动态加载图片的精准抓取。

传统爬取方法的局限性

在进行网页数据抓取时，beautifulsoup和selenium是常用的工具。beautifulsoup擅长解析静态html内容，而selenium则能够模拟浏览器行为，处理javascript渲染的动态内容。然而，对于某些高度动态的网站，特别是那些通过第三方api异步加载关键数据的网站，这两种方法可能会遇到瓶颈。

例如，当尝试从Dermnet这类网站抓取图片时，即使使用Selenium模拟浏览器加载页面，也可能发现目标图片所在的div块或img标签难以直接定位。这通常是因为图片并非直接嵌入在初始HTML中，而是通过JavaScript在页面加载完成后，向某个API发送请求，然后根据API返回的数据动态生成。在这种情况下，BeautifulSoup无法看到这些动态内容，而Selenium虽然能渲染页面，但如果目标数据是通过一个独立的API调用获取的，直接通过DOM解析效率低下，甚至无法触及API返回的原始数据。

洞察：动态加载背后的API

解决这类问题的关键在于改变思路：不再仅仅盯着页面的DOM结构，而是深入探究页面加载过程中发生了哪些网络请求。许多网站为了实现高性能和模块化，会选择将数据（如图片列表）通过API接口从后端获取。

使用开发者工具

识别这些隐藏API请求的最佳工具是浏览器的开发者工具（通常通过F12键打开）。

打开目标页面并进入开发者工具： 访问Dermnet的搜索结果页，例如https://dermnetnz.org/search.html?q=basal+cell+carcinoma+dermoscopy。
切换到“Network”（网络）选项卡： 刷新页面，并观察所有发出的网络请求。
筛选请求类型： 通常，动态加载的数据请求属于XHR（XMLHttpRequest）或Fetch类型。在“Network”选项卡中，可以筛选这些请求类型。
识别关键API请求： 在Dermnet的案例中，通过观察，我们会发现有请求发送到cse.google.com域名。这是一个重要的线索，表明网站正在使用Google Custom Search Engine (CSE) API来获取图片列表。

通过点击这些cse.google.com的请求，我们可以检查它们的“Headers”（请求头）和“Response”（响应）内容。你会发现响应通常是JSON格式，其中包含了我们所需的图片信息。

解析Google CSE API请求与响应

一旦识别出Google CSE API请求，下一步就是理解其工作原理。

关键URL参数分析

以一个典型的Google CSE API请求URL为例： https://cse.google.com/cse/element/v1?rsz=large&num=16&hl=en&source=gcsc&gss=.com&cselibv=8e77c7877b8339e2&searchtype=image&cx=015036873904746004277:nz7deehiccq&q=basal%20cell%20carcinoma%20dermoscopy&safe=off&cse_tok=AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721&exp=csqr,cc,bf&callback=google.search.cse.api10440

这里包含多个重要参数：

rsz=large: 结果图片的大小。
num=16: 每页返回的结果数量。
hl=en: 语言设置。
searchtype=image: 明确指定搜索类型为图片。
cx=015036873904746004277:nz7deehiccq: 自定义搜索引擎的ID，这是特定于Dermnet网站的。
q=basal%20cell%20carcinoma%20dermoscopy: 搜索查询词，经过URL编码。
cse_tok=...: 一个动态生成的令牌（token），用于验证请求。这个参数非常关键，因为它可能会在不同会话或一段时间后失效，需要从页面中动态获取或定期更新。
callback=google.search.cse.api10440: 这是一个JSONP（JSON with Padding）回调函数名。这意味着API响应会被包裹在这个函数调用中，以便跨域请求。

处理JSONP响应

由于callback参数的存在，API的响应不是纯粹的JSON，而是类似google.search.cse.api10440({...})的格式。我们需要手动移除这个函数包裹，才能将其解析为标准的JSON对象。

Lemonaid

AI音乐生成工具，在音乐领域掀起人工智能革命

查看详情

响应数据结构

API响应的JSON结构中，通常会有一个名为results的字段，它是一个列表，包含每个搜索结果的详细信息。每个结果对象里会包含url（或src）、title、width、height等图片相关属性。

实战：利用Python爬取图片URL

现在，我们将使用Python的requests库来模拟API请求，并解析数据。

准备工作

确保安装了requests库：

pip install requests

登录后复制

构建API请求

我们需要构造与浏览器中观察到的API请求一致的URL和参数。为了简化，我们先假设cse_tok可以从开发者工具中获取并作为固定值使用（但在实际生产环境中，它可能需要动态获取）。

import requests
import json
import re

def fetch_dermnet_images(query, start_index=1, cse_token="YOUR_CSE_TOKEN_HERE"):
    """
    从Dermnet网站的Google CSE API获取图片信息。
    :param query: 搜索关键词。
    :param start_index: 分页起始索引。
    :param cse_token: 从浏览器开发者工具中获取的cse_tok。
    :return: 包含图片信息的列表。
    """
    base_url = "https://cse.google.com/cse/element/v1"

    # 观察到的关键参数
    params = {
        "rsz": "large",
        "num": "16",  # 每页结果数量
        "hl": "en",
        "source": "gcsc",
        "gss": ".com",
        "cselibv": "8e77c7877b8339e2", # 这个参数可能随时间变化
        "searchtype": "image",
        "cx": "015036873904746004277:nz7deehiccq",
        "q": query,
        "safe": "off",
        "cse_tok": cse_token,
        "exp": "csqr,cc,bf", # 这个参数可能随时间变化
        "callback": "google.search.cse.api10440",
        "start": str(start_index) # 分页参数
    }

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36",
        "Referer": "https://dermnetnz.org/" # 设置Referer以模拟浏览器请求
    }

    try:
        response = requests.get(base_url, params=params, headers=headers, timeout=10)
        response.raise_for_status() # 检查HTTP请求是否成功

        # 处理JSONP响应：移除回调函数包裹
        jsonp_text = response.text
        match = re.search(r"google\.search\.cse\.api\d+\((.*)\)", jsonp_text)
        if match:
            json_data = match.group(1)
            data = json.loads(json_data)
            return data
        else:
            print("未能从响应中解析JSONP数据。")
            return None

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None
    except json.JSONDecodeError as e:
        print(f"JSON解析失败: {e}")
        print(f"原始响应文本: {jsonp_text[:500]}...") # 打印部分响应方便调试
        return None

登录后复制

解析JSON数据并提取图片

API返回的数据中，图片信息通常在results字段下。

def extract_image_urls(api_response):
    """
    从API响应中提取图片URL。
    :param api_response: API返回的JSON数据。
    :return: 包含图片URL的列表。
    """
    image_urls = []
    if api_response and "results" in api_response:
        for item in api_response["results"]:
            # 图片URL可能在不同的字段，例如'url'或'image_url'
            # 观察开发者工具中的响应结构来确定
            if "url" in item: # 假设图片主URL在'url'字段
                image_urls.append(item["url"])
            elif "image" in item and "url" in item["image"]: # 或者在嵌套的'image'字段中
                image_urls.append(item["image"]["url"])
    return image_urls

登录后复制

处理分页机制

Google CSE API通常通过start参数来控制分页，start表示结果的起始索引。如果每页num是16，那么第一页start=1，第二页start=17，第三页start=33，以此类推。我们需要一个循环来不断增加start参数，直到没有更多结果。

def scrape_all_dermnet_images(query, cse_token, max_pages=5):
    """
    爬取Dermnet网站指定查询的所有图片URL。
    :param query: 搜索关键词。
    :param cse_token: Google CSE API的动态令牌。
    :param max_pages: 最大爬取页数，防止无限循环。
    :return: 所有图片URL的列表。
    """
    all_image_urls = []
    start_index = 1
    page_count = 0

    while page_count < max_pages:
        print(f"正在抓取查询 '{query}' 的第 {page_count + 1} 页 (start={start_index})...")
        api_response = fetch_dermnet_images(query, start_index, cse_token)

        if not api_response:
            print("未能获取API响应或响应为空，停止抓取。")
            break

        current_page_urls = extract_image_urls(api_response)
        if not current_page_urls:
            print("当前页没有图片URL，停止抓取。")
            break

        all_image_urls.extend(current_page_urls)
        print(f"已获取 {len(current_page_urls)} 张图片，总计 {len(all_image_urls)} 张。")

        # 更新start_index以获取下一页
        # 根据API响应中的'nextPage'或类似字段来判断是否有下一页，
        # 或者简单地增加num的值。
        # 这里假设每页16个结果，下一页的start是当前start + num。
        results_per_page = int(api_response.get("context", {}).get("num", "16")) # 尝试从响应中获取num
        if not results_per_page: # 如果获取不到，则使用默认值
            results_per_page = 16 

        start_index += results_per_page
        page_count += 1

        # 实际项目中可能需要加入延时，防止请求过快被封
        # import time
        # time.sleep(1) 

    return all_image_urls

登录后复制

完整代码示例

import requests
import json
import re
import time

# 注意：cse_tok是动态的，需要从浏览器开发者工具中获取最新的值
# 示例值仅供参考，实际使用时请替换为最新的有效token
YOUR_CSE_TOKEN = "AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721" 

def fetch_dermnet_images(query, start_index=1, cse_token=YOUR_CSE_TOKEN):
    """
    从Dermnet网站的Google CSE API获取图片信息。
    :param query: 搜索关键词。
    :param start_index: 分页起始索引。
    :param cse_token: 从浏览器开发者工具中获取的cse_tok。
    :return: 包含图片信息的字典或None。
    """
    base_url = "https://cse.google.com/cse/element/v1"

    params = {
        "rsz": "large",
        "num": "16",
        "hl": "en",
        "source": "gcsc",
        "gss": ".com",
        "cselibv": "8e77c7877b8339e2", 
        "searchtype": "image",
        "cx": "015036873904746004277:nz7deehiccq",
        "q": query,
        "safe": "off",
        "cse_tok": cse_token,
        "exp": "csqr,cc,bf", 
        "callback": "google.search.cse.api10440",
        "start": str(start_index)
    }

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36",
        "Referer": "https://dermnetnz.org/"
    }

    try:
        response = requests.get(base_url, params=params, headers=headers, timeout=10)
        response.raise_for_status()

        jsonp_text = response.text
        match = re.search(r"google\.search\.cse\.api\d+\((.*)\)", jsonp_text)
        if match:
            json_data = match.group(1)
            data = json.loads(json_data)
            return data
        else:
            print("未能从响应中解析JSONP数据。")
            return None

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None
    except json.JSONDecodeError as e:
        print(f"JSON解析失败: {e}")
        print(f"原始响应文本: {jsonp_text[:500]}...") 
        return None

def extract_image_urls(api_response):
    """
    从API响应中提取图片URL。
    :param api_response: API返回的JSON数据。
    :return: 包含图片URL的列表。
    """
    image_urls = []
    if api_response and "results" in api_response:
        for item in api_response["results"]:
            if "url" in item:
                image_urls.append(item["url"])
            elif "image" in item and "url" in item["image"]:
                image_urls.append(item["image"]["url"])
    return image_urls

def scrape_all_dermnet_images(query, cse_token, max_pages=5):
    """
    爬取Dermnet网站指定查询的所有图片URL。
    :param query: 搜索关键词。
    :param cse_token: Google CSE API的动态令牌。
    :param max_pages: 最大爬

登录后复制

以上就是应对动态内容抓取：Dermnet图片爬取中的Google CSE API应用的详细内容，更多请关注php中文网其它相关文章！