html - クロール時に「DNS ルックアップに失敗しました」と表示されますが、Web ページを開くときには問題ありません。何が起こっていますか?

Question

RT、Pythonを使ってクロールしたところ、最初は正常だったのですが、突然Webページが固まってしまい、しばらく待つと元に戻りましたが、この時に再度クロールすると「DNSルックアップに失敗しました」と報告されてしまいます。 "。多くの Web サイトを試しましたが、Web ページは失敗しました。正常に開きます。理由と解決策を教えてください。ひざまずいて、ありがとう！ ！

伊谢尔伦 · Answer

リーリー

http はプロトコルであり、アドレスの一部ではないため、DNS 解決は失敗します。この点から始めましょう。

たとえば、Baidu の Web サイトのアドレスを解析したい場合:
正しいアドレス: www.baidu.com
間違ったアドレス: http://www.baidu.com