Python クローラー入門 (3) -- リクエストを使用して Zhihu API を構築する-Python チュートリアル-php.cn

Python クローラー入門 (3) -- リクエストを使用して Zhihu API を構築する

零下一度

リリース： 2017-05-27 11:57:48

オリジナル

2041 人が閲覧しました

この記事では、主に Python クローラーの使用と Zhihu API の構築のためのリクエストの使用に関する関連情報を、サンプルコードを通じて詳しく紹介します。それが必要です。以下を見てみましょう。

前書き

リクエストの使用方法は、クローラーシリーズの記事「エレガントな HTTP ライブラリリクエスト」で紹介されています。今回は、リクエストを使用して Zhihu API を構築します。その機能には、プライベートメッセージの送信、記事のいいね! 、ユーザーのフォローなどがあります。など、ユーザー操作を伴う機能では操作前にログインが必要となるため、この記事を読む前に Python シミュレーション Zhihu ログインについて理解することをお勧めします。ここで、リクエストを使用して Zhihu ログインをシミュレートする方法をすでに知っていると仮定します。

思考分析

プライベートメッセージを送信するプロセスでは、ブラウザーが HTTP リクエストをサーバーに送信します。リクエストメッセージには、リクエスト URL、リクエストヘッダー

Header、リクエスト本文が含まれます。この情報が明らかであれば、リクエストを使用してブラウザがプライベートメッセージを送信するのをシミュレートするのは簡単です。

Chrome ブラウザを開いてユーザーを見つけ、クリックしてプライベートメッセージを送信し、プライベートメッセージのネットワークリクエストプロセスを追跡します。

まずリクエストヘッダー情報を見てください

リクエストヘッダーには

cookieのログイン情報が含まれており、ユーザー認証に使用される認可フィールドもあり、このフィールドもcookie (cookie 情報の漏洩を防ぐために、この情報はリクエスト時に保持される必要があります)。

リクエスト URL とリクエスト本文を見てみましょう

リクエスト URL は www.zhihu.com/api/v4/messages、リクエストメソッドは POST、リクエスト本文は

{"type":"common","content":"你好，我是pythoner","receiver_hash":"1da75b85900e00adb072e91c56fd9149"}

ログイン後にコピー

リクエストボディは json 文字列で、タイプと内容は理解しやすいですが、receiver_hash が何であるかはわかりません。さらに決定する必要がありますが、これはユーザー ID に似たフィールドであると推測する必要があります。

それでは、ユーザーのホームページの URL からユーザーの ID を見つけるにはどうすればよいかという質問が来ます。プライベートメッセージングのプロセス全体を完全にシミュレートするために、特別に Zhihu アカウントを登録しました。

追加の携帯電話番号をお持ちでない場合は、Google を使用して「SMS オンライン受信」を検索してください。インターネット上には、テキストメッセージを無料でオンライン受信できる携帯電話番号がたくさんあります。アカウント: https://www.zhihu.com/people /xiaoxiaodouzi

まず、トランペットアカウントをフォローして、フォロワーのリストでトランペットアカウントを見つけます。マウスをトランペットアカウントのアバターに移動すると、 HTTP ネットワークリクエストがあることを確認します。

リクエストの URL は www.zhihu.com/api/v4/members/xiaoxiaodouzi です。この URL の後ろの部分「xiaoxiaodouzi」は、Xiaoxiao ホームページの URL の後ろの部分に相当します。

インターフェースによって返されるデータは、ユーザーの個人公開情報です。

{ 
 ...
 "id":"1da75b85900e00adb072e91c56fd9149",
 "favorite_count":0,
 "voteup_count":0,
 "commercial_question_count":0,
 "url_token":"xiaoxiaodouzi",
 "type":"people",
 "avatar_url":"https://pic1.zhimg.com/v2-ca13758626bd7367febde704c66249ec_is.jpg",
 "is_active":1492224390,
 "name":"\u6211\u662f\u5c0f\u53f7",
 "url":"http://www.zhihu.com/api/v4/people/1da75b85900e00adb072e91c56fd9149",
 "gender":-1
 ...
}

ログイン後にコピー

前に推測したように、プライベートメッセージのreceiver_hash フィールドがユーザーの ID であることが明確にわかります。

コード実装

プライベートメッセージ機能の考え方を明確にしましたので、コード実装は当然のことです。

ユーザー情報

プライベートメッセージインターフェースに必要なreceiver_hash辞書を取得するには、まず、使用されるID値を含むユーザー情報を取得する必要があります。

@need_login
def user(self, url_token):
 """
 获取用户信息,
 :param url_token:
 url_token 是用户主页url中后面部分
 例如: https://www.zhihu.com/people/xiaoxiaodouzi
 url_token 是 xiaoxiaodouzi
 :return:dict
 """
 response = self._session.get(URL.profile(url_token))
 return response.json()

ログイン後にコピー

プライベートメッセージを送信

@need_login
def send_message(self, user_id, content):
 """
 给指定的用户发私信
 :param user_id: 用户ID
 :param content: 私信内容
 """
 data = {"type": "common", "content": content, "receiver_hash": user_id}
 response = self._session.post(URL.message(), json=data)
 data = response.json()
 if data.get("error"):
 self.logger.info("私信发送失败, %s" % data.get("error").get("message"))
 else:
 self.logger.info("发送成功")
 return data

ログイン後にコピー

上記の 2 つのメソッドは、Zhihu というクラスに配置されています。関係する @need_login は、ユーザー認証デコレータです。つまり、このメソッドです。操作するにはログインが必要です。注意していれば、init.py メソッドでヘッダーフィールドを初期化したため、各リクエストでヘッダーフィールドを明示的に指定していないことに気づくかもしれません。

def init(self):
 self._session = requests.session()
 self._session.verify = False
 self._session.headers = {"Host": "www.zhihu.com",
    "Referer": "https://www.zhihu.com/",
    &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36&#39;
      &#39; (KHTML, like Gecko) Chrome/56.0.2924.87&#39;,
    }
 self._session.cookies = cookiejar.LWPCookieJar(filename=cookie_filename)
 try:
 self._session.cookies.load(ignore_discard=True)
 except:
 pass

ログイン後にコピー

を呼び出して実行します

from zhihu import Zhihu

if name == &#39;main&#39;:
 zhihu = Zhihu()
 profile = zhihu.user("xiaoxiaodouzi")
 _id = profile.get("id")
 zhihu.send_message(_id, "你好,这是来自Python之禅的问候")

ログイン後にコピー

実行が完了すると、トランペットは私が送信したプライベートメッセージを正常に受信しました。