Web Scraping leicht gemacht: Analysieren Sie jede HTML-Seite mit Puppeteer

Stellen Sie sich den Aufbau einer E-Commerce-Plattform vor, auf der wir problemlos Produktdaten in Echtzeit von großen Geschäften wie eBay, Amazon und Flipkart abrufen können. Sicher, es gibt Shopify und ähnliche Dienste, aber seien wir ehrlich: Es kann sich etwas umständlich anfühlen, ein Abonnement nur für ein Projekt zu kaufen. Also dachte ich, warum nicht diese Seiten durchsuchen und die Produkte direkt in unserer Datenbank speichern? Dies wäre eine effiziente und kostengünstige Möglichkeit, Produkte für unsere E-Commerce-Projekte zu erhalten.

Was ist Web Scraping?

Beim Web Scraping werden Daten von Websites extrahiert, indem der HTML-Code von Webseiten analysiert wird, um Inhalte zu lesen und zu sammeln. Dabei geht es oft darum, einen Browser zu automatisieren oder HTTP-Anfragen an die Website zu senden und dann die HTML-Struktur zu analysieren, um bestimmte Informationen wie Text, Links oder Bilder abzurufen. Puppeteer ist eine Bibliothek, die zum Scrapen der Websites verwendet wird.

?Was ist Puppenspieler?

Puppeteer ist eine Node.js-Bibliothek. Sie bietet eine High-Level-API zur Steuerung kopfloser Chrome- oder Chromium-Browser. Headless Chrome ist eine Version von Chrome, die alles ohne Benutzeroberfläche ausführt (ideal für die Ausführung von Dingen im Hintergrund).

Mit dem Puppenspieler können wir verschiedene Aufgaben automatisieren, wie zum Beispiel:

• Web Scraping: Das Extrahieren von Inhalten aus Websites erfordert die Interaktion mit dem HTML und JavaScript der Seite. Normalerweise rufen wir den Inhalt ab, indem wir auf die CSS-Selektoren abzielen.
• PDF-Generierung: Das programmgesteuerte Konvertieren von Webseiten in PDFs ist ideal, wenn Sie direkt ein PDF aus einer Webseite generieren möchten, anstatt einen Screenshot zu erstellen und den Screenshot dann in ein PDF umzuwandeln. (P.S. Entschuldigung, wenn Sie hierfür bereits Problemumgehungen haben).
• Automatisierte Tests: Durchführen von Tests auf Webseiten durch Simulieren von Benutzeraktionen wie Klicken auf Schaltflächen, Ausfüllen von Formularen und Erstellen von Screenshots. Dadurch entfällt der mühsame Prozess, lange Formulare manuell durchzugehen, um sicherzustellen, dass alles an seinem Platz ist.

?Wie fange ich mit dem Puppenspieler an?

Zuerst müssen wir die Bibliothek installieren, machen Sie weiter.
Mit npm:

npm i puppeteer # Downloads compatible Chrome during installation.
npm i puppeteer-core # Alternatively, install as a library, without downloading Chrome.

Verwendung von Garn:

yarn add puppeteer // Downloads compatible Chrome during installation.
yarn add puppeteer-core // Alternatively, install as a library, without downloading Chrome.

Verwenden von pnpm:

pnpm add puppeteer # Downloads compatible Chrome during installation.
pnpm add puppeteer-core # Alternatively, install as a library, without downloading Chrome.

? Beispiel zur Demonstration des Einsatzes des Puppenspielers

Hier ist ein Beispiel für das Scrapen einer Website. (P.S.: Ich habe diesen Code verwendet, um für mein E-Commerce-Projekt Produkte von der Myntra-Website abzurufen.)

const puppeteer = require("puppeteer");
const CategorySchema = require("./models/Category");

// Define the scrape function as a named async function
const scrape = async () => {
    // Launch a new browser instance
    const browser = await puppeteer.launch({ headless: false });

    // Open a new page
    const page = await browser.newPage();

    // Navigate to the target URL and wait until the DOM is fully loaded
    await page.goto('https://www.myntra.com/mens-sport-wear?rawQuery=mens%20sport%20wear', { waitUntil: 'domcontentloaded' });

    // Wait for additional time to ensure all content is loaded
    await new Promise((resolve) => setTimeout(resolve, 25000));

    // Extract product details from the page
    const items = await page.evaluate(() => {
        // Select all product elements
        const elements = document.querySelectorAll('.product-base');
        const elementsArray = Array.from(elements);

        // Map each element to an object with the desired properties
        const results = elementsArray.map((element) => {
            const image = element.querySelector(".product-imageSliderContainer img")?.getAttribute("src");
            return {
                image: image ?? null,
                brand: element.querySelector(".product-brand")?.textContent,
                title: element.querySelector(".product-product")?.textContent,
                discountPrice: element.querySelector(".product-price .product-discountedPrice")?.textContent,
                actualPrice: element.querySelector(".product-price .product-strike")?.textContent,
                discountPercentage: element.querySelector(".product-price .product-discountPercentage")?.textContent?.split(' ')[0]?.slice(1, -1),
                total: 20, // Placeholder value, adjust as needed
                available: 10, // Placeholder value, adjust as needed
                ratings: Math.round((Math.random() * 5) * 10) / 10 // Random rating for demonstration
            };
        });

        return results; // Return the list of product details
    });

    // Close the browser
    await browser.close();

    // Prepare the data for saving
    const data = {
        category: "mens-sport-wear",
        subcategory: "Mens",
        list: items
    };

    // Create a new Category document and save it to the database
    // Since we want to store product information in our e-commerce store, we use a schema and save it to the database.
    // If you don't need to save the data, you can omit this step.
    const category = new CategorySchema(data);
    console.log(category);
    await category.save();

    // Return the scraped items
    return items;
};

// Export the scrape function as the default export
module.exports = scrape;

?Erklärung:

• In diesem Code verwenden wir Puppeteer, um Produktdaten von einer Website zu extrahieren. Nachdem wir die Details extrahiert haben, erstellen wir ein Schema (CategorySchema), um diese Daten zu strukturieren und in unserer Datenbank zu speichern. Dieser Schritt ist besonders nützlich, wenn wir die gescrollten Produkte in unseren E-Commerce-Shop integrieren möchten. Wenn das Speichern der Daten in einer Datenbank nicht erforderlich ist, können Sie den schemabezogenen Code weglassen.
• Vor dem Scraping ist es wichtig, die HTML-Struktur der Seite zu verstehen und zu ermitteln, welche CSS-Selektoren den Inhalt enthalten, den Sie extrahieren möchten.
• In meinem Fall habe ich die relevanten CSS-Selektoren verwendet, die auf der Myntra-Website identifiziert wurden, um den Inhalt zu extrahieren, auf den ich abzielte.

Das obige ist der detaillierte Inhalt vonWeb Scraping leicht gemacht: Analysieren Sie jede HTML-Seite mit Puppeteer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!