Python を使用して eBay をスクレイピングするためのステップバイステップガイド-Python チュートリアル-php.cn

Step-by-Step Guide to Scraping eBay Using Python

Web スクレイピングの世界に飛び込むと、最初に学ぶことの 1 つは、プロキシがいかに重要であるかということです。スクレイピング中に IP がブロックされたことがあるなら、その痛みがわかるでしょう。プロキシ、特にモバイルプロキシは、ここでの秘密兵器です。なぜモバイルプロキシなのか?なぜなら、それらは携帯電話で閲覧する日常のユーザーの行動を模倣するからです。データセンタープロキシと比べて、フラグが立てられたりブロックされたりする可能性が低くなります。 eBay は、他の多くの Web サイトと同様に、トラフィックパターンを積極的に監視しているため、1 つの IP からあまりにも多くのリクエストを送信すると、大きな的外れになる可能性があります。モバイルプロキシを使用すると、基本的に群衆の中に溶け込むことになります。みんながダンスフロアに気を取られている間に、気づかれずにパーティーに紛れ込むようなものだと考えてください。 spaw.co のポーランドモバイルプロキシをお勧めします。最近使用しましたが、サポートの品質と速度に驚きました。

この知識を身につけたら、さあ、いよいよ Python を使って eBay をスクレイピングする核心部分に入りましょう。このガイドでは、環境のセットアップからプラットフォームからのデータ抽出までを、退屈な講義のように聞こえることなく説明します。

舞台設定

コードを 1 行書く前に、適切なツールが必要です。 Python はスクレイピングに最適な選択肢であり、プログラマーにとってはスイスアーミーナイフのようなものです。まず、マシンに Python がインストールされていることを確認します。まだお持ちでない場合は、python.org にアクセスして最新バージョンを入手してください。その際、いくつかのライブラリも必要になります。 Requests と BeautifulSoup は、それぞれ HTTP リクエストの送信と HTML の解析に頼りになります。

あなたがきれいなワークスペースを好むタイプなら (そうでない人がいるでしょうか?)、専用のプロジェクトフォルダーを作成してください。これにより、物事が整理整頓され、デジタルジャンクの引き出しの中で作業しているように感じることがなくなります。

eBay の構造を理解する

Web スクレイピングは、Web サイトにコードを投げて、それが定着することを期待するだけではありません。ページのレイアウトを理解する必要があります。ブラウザで eBay を開き、カテゴリ (ラップトップなど) を選択します。リストを右クリックし、「検査」をクリックします。これにより、開発者ツールが開き、内部を覗くことができます。あなたがギアヘッドなら、それは車のエンジンを見るようなものです。ただし、このエンジンは HTML、CSS、JavaScript で作られています。

探しているのは、スクレイピングするデータの構造です。商品タイトル、価格。ターゲットデータがどこに存在するのかがわかれば、スクレイピングは非常に簡単になります。

最初のリクエストを送信する

スクレイピングの最初のステップは、ページの HTML コンテンツを取得することです。リクエストライブラリを使用すると、GET リクエストを eBay に送信し、その HTML を取得できます。

import requests

url = 'https://www.ebay.com/sch/i.html?_nkw=laptop'
response = requests.get(url)

if response.status_code == 200:
    print("Successfully fetched the webpage!")
else:
    print("Failed to fetch the webpage.")

ログイン後にコピー

このスクリプトを実行すると、ページの生の HTML を含む応答が返されます。ステータスコード 200 が表示されたら、準備完了です。そうでない場合は、壁にぶつかっている可能性があります。ここでプロキシが活躍します。これらがないと、特に短期間に複数のリクエストを送信する場合、eBay はリクエストに不審なフラグを付ける可能性があります。

HTMLの解析

HTML を取得するだけでは、まだ半分しか終わりません。それを解析するときに魔法が起こります。 BeautifulSoup は、特定のデータポイントを抽出するために使用するツールです。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')

ログイン後にコピー

これで、ページの HTML 構造全体がスープオブジェクトに読み込まれ、前に検査した要素の検索を開始できます。

ページ上の製品のタイトルが必要だとします。特定のクラスの h3 タグでラップされていることがわかるかもしれません。 BeautifulSoup を使用してそれらを見つけて抽出します。

titles = soup.find_all('h3', class_='s-item__title')

for title in titles:
    print(title.text)

ログイン後にコピー

出力を読むと、宝物を見つけたような気分になりますね。ついに生データが表示されました。

ページネーションの処理

1 ページだけをスクレイピングするだけでは十分ではありません。 eBay リストは複数のページにまたがることが多く、完全なデータセットが必要な場合は、ページネーションを処理する必要があります。

ページ上の「次へ」ボタンを確認します。その URL には、ページごとに変化するパラメータが含まれていることがわかります。このパターンを抽出し、すべてのページをスクレイピングするループを作成します。

base_url = 'https://www.ebay.com/sch/i.html?_nkw=laptop&_pgn='

for page in range(1, 6):  # Adjust the range as needed
    url = f"{base_url}{page}"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # Extract data here

ログイン後にコピー

ただし、注意してください。矢継ぎ早にリクエストを送信すると、危険信号が発生する可能性があります。 time.sleep() 関数を使用してリクエスト間に遅延を導入し、より自然なブラウジングフットプリントを実現します。

データの保存

データをスクレイピングしているので、それをどこかに保存する必要があります。 CSV ファイルは、これにはシンプルですが強力な選択肢です。 Python の CSV ライブラリを使用すると、わずか数行のコードでデータを構造化フォーマットにエクスポートできます。

import csv

with open('ebay_data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Title'])  # Add more headers if needed

    for title in titles:
        writer.writerow([title.text])

ログイン後にコピー

CSV ファイルを開くと、データサイエンティストが調査結果をじっくり調べているような気分になります。

障害物の回避

ウェブスクレイピングは、すべてが順風満帆というわけではありません。場合によっては、CAPTCHA チャレンジに遭遇したり、必要なデータが JavaScript で動的に読み込まれていることを発見することがあります。このような場合、ブラウザを自動化し、実際のユーザーと同じようにページを操作できるようにする Selenium などのツールが必要になります。

Selenium は重労働を処理できますが、リクエストや BeautifulSoup を使用するよりも遅くなります。必要な場合にのみ使用してください。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.ebay.com/sch/i.html?_nkw=laptop')

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

# Extract data here
driver.quit()

ログイン後にコピー

eBay がプロキシのブロックなど、別の変化球を投げる決定をした場合は、ローテーションプロキシに切り替えることができます。これらは IP アドレスを自動的にシャッフルし、一歩先を進みます。