php収集プログラム

10 分ほど収集が完了すると、fwrite(...) リクエストが表示され、警告が表示され、その後パケットロスが発生し、一部の Web ページがクロールに失敗しました。 。

最初の 10 分間は問題ありませんでしたが、10 分を過ぎると、fwrite(....) がリクエストを送信する際の警告の頻度が徐々に増加しました

リクエストがサーバーによって拒否された可能性がありますか?

エラー メッセージ:

注意: fwrite(): in E:CodeEditphphttp

わずかに改善されました。これらのリンクは問題ありません。現在のエラー メッセージは次のとおりです:

リンクのリクエストを開始しています http://www.mmkao.com/Beautyleg/201412/7066_9.html
次のページはありません。理由はい: 画像ページンググループの一致に失敗しました

しかし、次のページに一致する getRollLink 関数には問題はありません。何度もテストしましたが、ローカルに保存された Web ページから読み取っても問題ありません。この問題が発生する前に、多くの Web ページにアクセスしましたが、問題はありませんでした。

リンクをリクエストする http://www.mmkao.com/Beautyleg/201412/7066_5.html
リンクをリクエストする http://www.mmkao.com/Beautyleg/201412/7066_6.html
リンクのリクエストを行う http://www.mmkao.com/Beautyleg/201412/7066_7.html リクエストを開始する
リンクのリクエストを開始する http://www.mmkao.com/Beautyleg/201412/7066_8.html
リンクのリクエストを開始します。 http://www.mmkao.com/Beautyleg/201412/7066_9.html がリクエストを開始します
次のページはありません。理由は次のとおりです: 画像ページング グループの一致に失敗しました

改善されたバージョンが投稿されていますこちら: http://blog.csdn.net/free_program_1314/article/details /41805697

たとえば、9 番目の Web ページを収集した後、10 番目のページを収集するときにマッチングエラーが発生します。 10 ページ目を収集するためのリンクは、9 ページ目の Web ページ情報によって提供されます。収集した 9 番目のファイルを開くと、問題なく読み取って次のページへのリンクを照合できます。これは何度も発生しますが、ファイルから読み取って次のページへのリンクを照合しようとするたびに問題は発生しません。

つまり、問題がある場合は、収集の開始時にこのプロンプトが表示されるはずです。 。 。今の問題は、この問題が時々現れることです

ブラウザを使用してアクセスしても、時々ページが開けなくなるのは普通ではありませんか。リフレッシュしてください）？
必要なのは、いつでも接続の有効性をチェックし、失敗した場合に対処することだけです。たとえば、数秒待ってから再度接続してください

ブラウザでアクセスしても、たまにページが開かなくなるのも普通ではないでしょうか（ただ。リフレッシュしてください）？
必要なのは、いつでも接続の有効性をチェックし、失敗した場合に対処することだけです。例えば、数秒待ってから再度接続してください

わかりました

ブラウザでアクセスしても、ページが表示されないのは普通ではないでしょうか。時々開きます (更新するだけです)?
必要なのは、いつでも接続の有効性をチェックし、失敗した場合に対処することだけです。たとえば、再度接続するには数秒待ってください

この問題は、マッチングが失敗したことを検出し、保存された前のページから次のページのリンクを抽出することで一時的に解決されます:

リンクの場合 http://www.mmkao.com /Beautyleg/201411/6906_13.html はリクエストを開始します
次のページはありません。理由は次のとおりです: 画像ページング グループの一致に失敗しました。ファイルから一致するパターンを読み取ってみてください
リンクについては http://www.mmkao .com/Beautyleg/201411/ 6906_14.html リクエストを開始します
次のグループはすぐに収集されます
リンクのリクエストを開始します http://www.mmkao.com/Beautyleg/201411/6892.html
リクエストを開始しますリンク http://www.mmkao.com/Beautyleg/201411/ 6892_2.html がリクエストを開始しました
リンクのリクエストを開始しました http://www.mmkao.com/Beautyleg/201411/6892_3.html


その後10 分間収集しても、リクエストの失敗は依然として発生しました、、、fwrite()、そしてこれは古い問題です。接続をリセットすることで解決する必要があります

とてもクールですね