PHP クローラーの練習: Twitter 上のデータをクローリングする-PHPチュートリアル-php.cn

PHP クローラーの練習: Twitter 上のデータをクローリングする

WBOY

リリース： 2023-06-13 13:18:01

オリジナル

2816 人が閲覧しました

デジタル時代において、ソーシャルメディアは人々の生活に欠かせないものになりました。 Twitter もその 1 つで、毎日数億人のユーザーがさまざまな情報を共有しています。研究、分析、プロモーションなどのニーズによっては、Twitter 上で関連データを取得することが非常に必要になります。この記事では、PHP を使用して、キーワード関連データをクロールしてデータベースに保存する簡単な Twitter クローラーを作成する方法を紹介します。

1. Twitter API

Twitter は、開発者が関連データを取得するための公式 API (アプリケーションプログラミングインターフェイス) インターフェイスを提供します。 Twitter の API を使用するには、事前にアプリケーション (App) を作成し、Consumer Key、Consumer Secret、Access Token、Access Token Secret などのアプリケーションの関連パラメータを取得する必要があります。具体的な適用方法についてはここでは説明しません。

2. Twitter API ライブラリのインストール

Twitter API は、Twitter API の使用プロセスを簡素化できる開発アクセスライブラリ (PHP ライブラリ) を公式に提供しています。この記事では、このライブラリを使用して Twitter データを取得します。 Twitter API ライブラリをインストールするにはさまざまな方法がありますが、ここでは、composer を使用して依存関係を管理する方法を紹介します。具体的な手順は次のとおりです。 PHP 用の管理ツールを使用すると、対応するオペレーティングシステムのインストールパッケージをダウンロードできます。

2.composer を使用して Twitter API ライブラリをインストールする

コマンドラインウィンドウに次のコマンドを入力して、Twitter API ライブラリをプロジェクトディレクトリにインストールします:

combos require abraham/twitteroauth

3. Twitter データの取得Twitter API を使用したデータのクロールは、認証とクエリの 2 つのステップに分かれています。認証が完了したら、以下に示すように、クエリコマンドを使用して指定した Twitter データを取得できます。

require_once('twitteroauth/autoload.php');
use AbrahamTwitterOAuthTwitterOAuth;

$consumerKey = "your_consumer_key";
$consumerSecret = "your_consumer_secret";
$accessToken = "your_access_token";
$accessTokenSecret = "your_access_token_secret";
$connection = new TwitterOAuth($consumerKey, $consumerSecret, $accessToken, $accessTokenSecret);

$tweets = $connection->get("search/tweets", array("q" => "php", "count" => 100));

ログイン後にコピー

上記のコードは、「php」に関連する最新の 100 件のツイート (ツイート) を取得し、保存することができます。結果は $tweets 変数になります。

4. データの解析と保存

Twitter データを取得したら、データを解析して保存する必要があります。この例では MySQL データベースを使用しており、PHP の PDO 拡張機能と SQL ステートメントを使用してデータを保存できます。具体的なコードは次のとおりです。

try{
    $dbh = new PDO('mysql:host=localhost;dbname=your_database_name', 'your_username', 'your_password');
    $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    
    $tweetsArray = json_decode(json_encode($tweets), True)['statuses']; // 将 tweets 转换成数组
    
    foreach ($tweetsArray as $tweet) {
        $id = $tweet['id_str'];
        $text = $tweet['text'];
        $created_at = date("Y-m-d H:i:s", strtotime($tweet['created_at']));
        $user = $tweet['user']['screen_name'];  
        
        // 将数据保存到数据库中
        $statement = $dbh->prepare("INSERT INTO tweets (id, text, created_at, user) VALUES (:id, :text, :created_at, :user)");
        $statement->bindParam(':id', $id);
        $statement->bindParam(':text', $text);
        $statement->bindParam(':created_at', $created_at);
        $statement->bindParam(':user', $user);
        $statement->execute();
    }
    
    echo "Data saved successfully!";
} catch (PDOException $e) {
    echo "Error: " . $e->getMessage();
}

ログイン後にコピー

上記のコードは、$tweets 配列の内容を解析し、指定されたデータをデータベーステーブル tweet に保存します。

5. 完全なコード

require_once('twitteroauth/autoload.php');
use AbrahamTwitterOAuthTwitterOAuth;

$consumerKey = "your_consumer_key";
$consumerSecret = "your_consumer_secret";
$accessToken = "your_access_token";
$accessTokenSecret = "your_access_token_secret";
$connection = new TwitterOAuth($consumerKey, $consumerSecret, $accessToken, $accessTokenSecret);

$tweets = $connection->get("search/tweets", array("q" => "php", "count" => 100));

try{
    $dbh = new PDO('mysql:host=localhost;dbname=your_database_name', 'your_username', 'your_password');
    $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    
    $tweetsArray = json_decode(json_encode($tweets), True)['statuses']; // 将 tweets 转换成数组
    
    foreach ($tweetsArray as $tweet) {
        $id = $tweet['id_str'];
        $text = $tweet['text'];
        $created_at = date("Y-m-d H:i:s", strtotime($tweet['created_at']));
        $user = $tweet['user']['screen_name'];  
        
        // 将数据保存到数据库中
        $statement = $dbh->prepare("INSERT INTO tweets (id, text, created_at, user) VALUES (:id, :text, :created_at, :user)");
        $statement->bindParam(':id', $id);
        $statement->bindParam(':text', $text);
        $statement->bindParam(':created_at', $created_at);
        $statement->bindParam(':user', $user);
        $statement->execute();
    }
    
    echo "Data saved successfully!";
} catch (PDOException $e) {
    echo "Error: " . $e->getMessage();
}

ログイン後にコピー

6. 注意事項

Twitter API には制限があります。各アプリケーションは 15 分ごとに一定数のリクエストしか開始できません。リクエストが多すぎると、API が失敗する原因になります。

Twitter API によって返されるデータは JSON 形式であるため、json_decode 関数を使用して解析する必要があります。

その後の分析と処理のために、Twitter データをデータベースに保存することをお勧めします。
7. 概要
この記事では、PHP を使用して簡単な Twitter クローラーを作成し、データをデータベースに保存する方法を紹介します。 Twitter API を使用するとデータ取得のプロセスを大幅に簡素化できますが、実際の開発では API の制限とデータの解析と保存のプロセスに注意する必要があります。これらの基本的なスキルを学習して習得することは、将来のデータ分析と処理のための優れた基盤となります。

以上がPHP クローラーの練習: Twitter 上のデータをクローリングするの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。