Python - pyspiderのスケジュールされたクロールの問題

クローラーを作成するときに、コード内で Every を設定した後、21 日に一度クロールした後、結果が今日更新されておらず、lastcrawltime も 21 日のままであることがわかりました。パラメータの設定が間違っているのでしょうか？

我想大声告诉你 2017-05-18 10:53:29 0  2  979

Python - Scrapy は実際に項目を入力するよりも多くのページをクロールしますか?

{コード...} Scrapy を使用してクロールすると、実際に項目を入力するよりも多くのページにアクセスするのはなぜですか? 長時間クロールした後、項目内のデータが数個しかないという問題を解決する方法はありますか? ?

PHP中文网 2017-05-18 10:47:40 0  1  672

javascript - ページ上に大量のデータがある場合、phantomjs を使用してページをクロールすると、ページをクロールできないのはなぜですか?

タオバオの検索ページをクロールしたいのですが、jsレンダリングで生成されたページなので、phantomjsでクロールすることにします。しかし、取得プロセス中に問題が発生しました。検索結果が3件以上ある場合はデータを取得できません。ただし、スクリーンショットでは、データが正常に読み込まれていることがわかります。タオバオに制限があるかどうかはわかりません...

習慣沉默 2017-07-05 10:50:52 0  1  913

JavaでJS処理されたコードをクロールする方法

ページアドレス: http://acm.hdu.edu.cn/showpro... クロールの目標: これらの数式のコードをクロールしたい場合、Chrome で F12 を押すと表示されるコード: ただし、クロールされたコードは次のとおりです。このコードは正しい数式を表示しません。これらのコードはすべて js によって生成されているようです。これにクロールする方法...

为情所困 2017-05-17 10:04:18 0  2  643

Python - Douyuのフォロワー数が読み込み画面で表示されるのですが、フォロワー数をクロールするにはどうすればいいですか？

Douyu のフォロワー数をクロールして {code...} を表示し、Web サイトが読み込まれた後に {code...} を表示します。このようなデータをどのようにクロールすればよいでしょうか?

巴扎黑 2017-07-05 10:34:08 0  1  993

悪意のある DDO が nginx 上でクロールするのを防ぐ方法

まず第一に、私は他の人が私の Web サイトのコンテンツをクロールすることに反対しません。私は必ずしも他の人のクロールを厳密に制限するわけではありません。しかし、一部の人々のクロールにはまったく利益がありません。彼らはクロールするために 1 つまたは複数のスクリプトを使用します。サーバーの内容は DDOS と変わりません。私のサーバーでは現在この問題が発生しています...

黄舟 2017-05-16 17:30:17 0  4  1080

Curl は Web ページをクロールしてデータを取得します

URL リンクが https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1 の場合、Web ページの情報をクロールするにはどうすればよいですか?

phpcn_u68041 2017-12-07 10:08:47 0  5  1221

PHP ソース コードは、インターフェイスをカスタマイズしてプロキシ IP を取得することにより、どのようにデータをクロールしますか?

PHP ソース コードは、インターフェイスをカスタマイズしてプロキシ IP を取得することにより、どのようにデータをクロールしますか? PHP ソース コードは、インターフェイスをカスタマイズしてプロキシ IP を取得することにより、どのようにデータをクロールしますか?

chen 2022-11-04 23:36:05 0  0  580

Python - 画像のクロールについて質問がありますか?

現在のクローラーは通常、HTML から画像を解析しますが、問題は、一部の画像パスが JS で記述されていることです。これどうやって登るの？ブラウザで f12 ポイントを開いてソース内の画像を表示できることはわかっていますが、クローラーを使用してソース内のリソースをクロールするにはどうすればよいでしょうか?

我想大声告诉你 2017-06-28 09:25:40 0  2  1044

phpはWebページのデータをクロールします

Baidu テイクアウト販売者の Web ページ https://wmpass.baidu.com/ucen... をクロールするなどのニーズがありますが、この Web ページはモジュラー フロントエンド フレームワークを使用して記述されており、ソースを表示すると一部しか表示されませんレンダリング前のソース コード、以前取得していたクエリリストはページのレンダリング後ではありません...

PHP中文网 2017-05-24 11:34:27 0  1  889

Python マルチスレッド クロール ファイル、タイムアウトと再接続を設定する方法。

Python を使用してデータをクロールする場合は、単一プロセスでマルチスレッド クロールを有効にします。結局のところ、IO が集中するため、複数のプロセスを使用することはできません。コードは次のとおりです {code...} ただし、スレッドのリクエストが値を返さない限り、スレッドは待ち続けて書き込みを行わないため、メインプロセスがブロックされないという問題が発生します。 。

黄舟 2017-05-18 11:02:31 0  1  840

node.js - ノード クローラー、IP プールを使用してアンチクロールを防ぐにはどうすればよいですか?

問題はこれです。私はノードを学び始めたばかりの初心者です。もちろん、これは明らかにクローラー用です。それで、最近小説を読んでいたのですが、無料小説サイトでは広告が多すぎるので、小説全体をクロールするクローラーを書こうと思ったのですが、URL リクエストが多すぎて逆になってしまいました。 - クロールされてブロックされました。

为情所困 2017-06-05 11:13:33 0  1  1238

Python クローラーの専門家の皆様、この Web サイトを参照して、アンチクローリングに対処する方法を確認してください。

https://www.every Saving.co.uk は Python を通じてこの Web サイトのデータをクロールしますが、データは返されません。クロールするためにヘッダーとプロキシ IP を追加しましたが、機能しませんでした。ぜひ試してみてください。 。 。

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  776

JavaScript - ノードが Weibo をクロールする

私はノードを初めて使用したので、Sina Weibo のコメントをクロールするためのクローラーを作成したいと思っていましたが、ページは JS によって動的に生成されており、http モジュールを使用してクロールできないことがわかりました。そのため、phantomjs を使用してクロールしました (遅くなり、実行に 1 か月近くかかりました） 15 分、遅すぎます、書き方が間違っていたかどうかはわかりません）、それでも動作しない場合は、どうすればよいかを聞きたいです...

仅有的幸福 2017-06-30 10:00:08 0  1  1001

JavaScript - スーパーエージェントが Web サイトをクロールするときのリダイレクトの問題

スーパーエージェントを使用して Web ページをクロールしましたが、リダイレクトが発生しました。リダイレクト後に応答本文を取得できませんでした。解決方法はありますか。リダイレクトされた Web ページを取得する方法です。501 ページの解像度を取得したかったのですが、 37018 ページにジャンプしたため、空の解像度が 501 ページに到達しました。クロールできない Web ページをテストしたところ、2 つの状況が見つかりました。

迷茫 2017-05-31 10:38:19 0  1  858

Web クローリング中に HTML 要素を見つけることはできません。この要素はサイト検査ツールに表示されます

この URL からすべてのテーブルのタイトルをクロールしようとしています: https://www.nature.com/articles/s41586-023-06192-4 Web サイトで次の HTML 要素を見つけることができます: <bid="Tab1" data- test="table-caption">Table1PracticalCt–M–Ctangles</b>このタイトルをクロールできません

P粉225961749 2023-09-19 12:41:46 0  1  602

Python - スクレイピー フレームワークを使用して Baidu の画像をクロールするとブロックされる

リクエストアドレスのURLはFirefoxで取得したjsonのアドレスで、ブラウザでは開けますが、scrapyでクロールするとBANされてしまいましたので解決してください。 https://image.baidu.com/search...

给我你的怀抱 2017-05-24 11:34:48 0  3  672

node.js - Node クローラーによる小説のクローリングに関する質問

{code...} 以下は、私がリクエストしたコードです。別の js で特定の章のリストをクロールし、それを json で記述しました。ここで、各リンクを直接リクエストします。 {code...} これと同じことが起こりました。しばらく登っても墜落したようだった。

巴扎黑 2017-05-16 13:38:49 0  1  623

Python が文字化けしたリクエストを含む Web ページをクロールする

**以前、査読文書のデータをクロールしたことがありますが、その間に再度クローラーを実行したところ、Webページのデータが取得できず、検索したところリクエストWebページのソースコードが文字化けしていることが分かりました* * (返されたデータの一部は次のようにインターセプトされます: &lt;meta http -equiv="Content-Type" content="text/htm...

phpcn_u1582 2017-06-22 11:51:56 0  4  1262

laravel - Guzzle ソフトウェアを使用したクロール、ログイン方法は?

著者は、興味本位で、laravel フレームワークの Guzzle を使用してホームページのデータをクロールしています。しかし、取得されたページはログイン ページです。この方法で書いてみましたが、うまくいきません {code...}誰かが教えてくれるといいのですが？

学习ing 2017-06-13 09:24:34 0  1  827