Web ページをクロールしたときに、このような機能によってページめくりが実装されていることに気づきました。ページをめくっても、ページの URL は変わりませんでした:
ページめくりを実現するために次のような関数を作成しました:
しかし、turn_page() を呼び出した後、ページめくりが失敗しました。この問題はどうやって解決すればよいでしょうか?また、このような問題を解決するにはどのような知識を自分で学べばよいでしょうか?ありがとうございます!
Following the voice in heart.
セレンの使用を推奨します
たとえば、インターフェース上の次のページボタンをクリックする必要がある場合、または上下左右のキーを入力する必要がある場合、ページをめくることができ、Selenium Webdriver がそれを実行でき、参照を提供できます。 (私はQidian中国語ウェブサイトの小説をクロールしていました)
Selenium は、ページと対話し、クリック、ダブルクリック、Enter を実行し、ページが読み込まれるのを待機します (暗黙的な待機と明示的な待機)。 。 。 。
いくつかの状況があります。1. JS エフェクトをスライドまたはクリックすることでページをめくることができます。2. ハイパーリンクをクリックすることでページをめくることができます。
json は処理が簡単で、結果を直接取得するだけです。通常の HTML ページでは、改ページに通常のマッチングを使用する必要があります。次に、リンクをプールに入れてクロールします。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
リーリーセレンの使用を推奨します
たとえば、インターフェース上の次のページボタンをクリックする必要がある場合、または上下左右のキーを入力する必要がある場合、ページをめくることができ、Selenium Webdriver がそれを実行でき、参照を提供できます。 (私はQidian中国語ウェブサイトの小説をクロールしていました)
Selenium は、ページと対話し、クリック、ダブルクリック、Enter を実行し、ページが読み込まれるのを待機します (暗黙的な待機と明示的な待機)。 。 。 。
いくつかの状況があります。
Chrome のデベロッパー ツールでネットワーク分析を使用すると、HTML ページであってもフィードバック JSON レンダリングであっても、結果を取得できます。1. JS エフェクトをスライドまたはクリックすることでページをめくることができます。
2. ハイパーリンクをクリックすることでページをめくることができます。
json は処理が簡単で、結果を直接取得するだけです。通常の HTML ページでは、改ページに通常のマッチングを使用する必要があります。次に、リンクをプールに入れてクロールします。
/a/11...