84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...
经过实测,结论是 bs4 改变了属性的顺序。
审查元素 查看网页源码
审查元素
查看网页源码
import re ptn_tr = re.compile(r']+>') import requests as req rsp=req.get('http://www.pythonscraping.com/pages/page3.html') html = rsp.text print('requests:\t', ptn_tr.findall(html)[0]) from urllib.request import urlopen rsp = urlopen("http://www.pythonscraping.com/pages/page3.html") html = rsp.read().decode() print('urlopen:\t', ptn_tr.findall(html)[0]) from bs4 import BeautifulSoup html = str(BeautifulSoup(html,"lxml")) print('bs4Soup:\t', ptn_tr.findall(html)[0]) 结果: requests: urlopen: bs4Soup: いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 阿神2017-04-18 09:33:41 3棟 class和id顺序不一样而已,你用chrome和firefox查看同一个网页源代码,顺序也是不一样的. いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 小葫芦2017-04-18 09:33:41 2棟 建议题主把网站甚至自己的代码贴出来,方便大家帮你调试。不一样很正常,如果你爬虫爬下来的内容保存为静态页面,和你用浏览器看到的不一样,那么肯定是对对方反爬虫机制给识别了,所以服务器会返回不同的信息。识别爬虫的方法很多,题主如果还有疑惑欢迎再问 いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 巴扎黑2017-04-18 09:33:41 1棟 楼主建议你贴出全部源代码,因为网站可以识别你是人工浏览器操作还是爬虫。 目前代码来看,建议你增加头部信息!use-agent 那行代码! いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 人気のトピック 詳細> a5用紙のサイズはどれくらいですか 登録ドメイン名照会ツール nohupと&の違い C言語の+=の意味の紹介 人気の記事 ビットコイン(BTC)は一時6万ドルを超えて上昇したが、株式市場の動きを模倣して6万ドル付近で取引するために利益を諦めた マイケル・セイラー氏、ビットコインのボラティリティを擁護し、ビットコインは流動性と信用に対して「支払う代償」であると主張 Laravel での再利用可能なモデル検索の作成: 効率的なセットアップとベスト プラクティス Appleの新たな特許が公開される! AI は人生の新たな章を記録するのに役立ちますか? Boots of Calm はクールダウンをどのくらい短縮できますか? 人気のチュートリアル 詳細> 関連するチュートリアル 人気のおすすめ 最新のコース 最新の ThinkPHP 5.1 ワールドプレミアビデオチュートリアル (PHP エキスパートになるための 60 日間のオンライン トレーニング コース) 1394815 PHP 入門チュートリアル 1: 1 週間で PHP を学ぶ 4206518 JAVA 初心者向けビデオチュートリアル 2348194 最新の ThinkPHP 5.1 ワールドプレミアビデオチュートリアル (PHP エキスパートになるための 60 日間のオンライン トレーニング コース) 1394815 JAVA 初心者向けビデオチュートリアル 2348194 Little Turtle のゼロベースの Python 学習入門ビデオ チュートリアル 493126 Web フロントエンド開発の簡単な紹介 213406 PSビデオチュートリアルをゼロからマスターする 842648 [Web フロントエンド] Node.js クイック スタート 3116 海外のWeb開発フルスタックコースの完全なコレクション 2484 Go言語実践GraphQL 1975 550W ファンマスターが JavaScript をゼロから段階的に学習します 465 Python マスター Mosh、基礎知識ゼロの初心者でも 6 時間で始められる 10784 最新のダウンロード 詳細> ウェブエフェクト 公式サイト サイト素材 フロントエンドテンプレート [フォームボタン] jQuery エンタープライズ メッセージ フォームの連絡先コード [プレイヤーの特殊効果] HTML5 MP3 オルゴール再生効果 [メニューナビゲーション] HTML5 クールなパーティクル アニメーション ナビゲーション メニューの特殊効果 [フォームボタン] jQuery ビジュアル フォームのドラッグ アンド ドロップ編集コード [プレイヤーの特殊効果] VUE.JS 模倣 Kugou 音楽プレーヤー コード [html5特殊効果] 古典的な HTML5 プッシュ ボックス ゲーム [画像の特殊効果] 画像効果を追加または削減するための jQuery スクロール [フォトアルバム効果] CSS3 個人アルバム カバー ホバー ズーム効果 [ブートストラップ テンプレート] 有機果物と野菜のサプライヤー Web テンプレート Bootstrap5 [バックエンドテンプレート] Bootstrap3 多機能データ情報バックグラウンド管理レスポンシブ Web ページ テンプレート-Novus [ブートストラップ テンプレート] 不動産リソース サービス プラットフォーム Web ページ テンプレート Bootstrap5 [ブートストラップ テンプレート] シンプルな履歴書情報 Web テンプレート Bootstrap4 [ブートストラップ テンプレート] ブートストラップ レスポンシブ ワイドスクリーン ブック教育 Web サイト テンプレート-DREAMLIFE [バックエンドテンプレート] MAC スタイルのレスポンシブ ブルー エンタープライズ CMS バックグラウンド管理システム テンプレート [バックエンドテンプレート] レスポンシブなグラデーション雰囲気の背景管理システムのウェブサイトのテンプレート-usinessbox [ブートストラップ テンプレート] レスポンシブな野菜と果物の店のウェブサイト テンプレート-Organio [PNG素材] かわいい夏の要素のベクター素材 (EPS+PNG) [PNG素材] 4 つの赤い 2023 卒業バッジ ベクター素材 (AI+EPS+PNG) [バナー画像] 歌う鳥と花がいっぱいのカートデザイン春のバナーベクター素材(AI+EPS) [PNG素材] 金色の卒業帽ベクター素材(EPS+PNG) [PNG素材] 黒と白のスタイルの山アイコン ベクター素材 (EPS+PNG) [PNG素材] 異なる色のマントと異なるポーズを持つスーパーヒーローのシルエットベクター素材(EPS+PNG) [バナー画像] フラット スタイルの植樹祭バナー ベクター素材 (AI+EPS) [PNG素材] 9つのコミックスタイルの爆発するチャットバブルベクター素材(EPS+PNG) [フロントエンドテンプレート] 室内装飾クリーニングおよび修理サービス会社のウェブサイトのテンプレート [フロントエンドテンプレート] フレッシュカラーの個人履歴書ガイドページテンプレート [フロントエンドテンプレート] デザイナーのクリエイティブな仕事の履歴書 Web テンプレート [フロントエンドテンプレート] 現代のエンジニアリング建設会社のウェブサイトのテンプレート [フロントエンドテンプレート] 教育サービス機関向けのレスポンシブ HTML5 テンプレート [フロントエンドテンプレート] オンライン電子書籍ストア モールのウェブサイト テンプレート [フロントエンドテンプレート] IT テクノロジーがインターネット企業の Web サイト テンプレートを解決します [フロントエンドテンプレート] パープルスタイル外国為替取引サービスウェブサイトテンプレート 私たちについて 免責事項 Sitemap PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!
结果:
requests: urlopen: bs4Soup: いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 阿神2017-04-18 09:33:41 3棟 class和id顺序不一样而已,你用chrome和firefox查看同一个网页源代码,顺序也是不一样的. いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 小葫芦2017-04-18 09:33:41 2棟 建议题主把网站甚至自己的代码贴出来,方便大家帮你调试。不一样很正常,如果你爬虫爬下来的内容保存为静态页面,和你用浏览器看到的不一样,那么肯定是对对方反爬虫机制给识别了,所以服务器会返回不同的信息。识别爬虫的方法很多,题主如果还有疑惑欢迎再问 いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 巴扎黑2017-04-18 09:33:41 1棟 楼主建议你贴出全部源代码,因为网站可以识别你是人工浏览器操作还是爬虫。 目前代码来看,建议你增加头部信息!use-agent 那行代码! いいねを押す+0 返信を追加 关闭回复 高洛峰 返事 人気のトピック 詳細> a5用紙のサイズはどれくらいですか 登録ドメイン名照会ツール nohupと&の違い C言語の+=の意味の紹介 人気の記事 ビットコイン(BTC)は一時6万ドルを超えて上昇したが、株式市場の動きを模倣して6万ドル付近で取引するために利益を諦めた マイケル・セイラー氏、ビットコインのボラティリティを擁護し、ビットコインは流動性と信用に対して「支払う代償」であると主張 Laravel での再利用可能なモデル検索の作成: 効率的なセットアップとベスト プラクティス Appleの新たな特許が公開される! AI は人生の新たな章を記録するのに役立ちますか? Boots of Calm はクールダウンをどのくらい短縮できますか? 人気のチュートリアル 詳細> 関連するチュートリアル 人気のおすすめ 最新のコース 最新の ThinkPHP 5.1 ワールドプレミアビデオチュートリアル (PHP エキスパートになるための 60 日間のオンライン トレーニング コース) 1394815 PHP 入門チュートリアル 1: 1 週間で PHP を学ぶ 4206518 JAVA 初心者向けビデオチュートリアル 2348194 最新の ThinkPHP 5.1 ワールドプレミアビデオチュートリアル (PHP エキスパートになるための 60 日間のオンライン トレーニング コース) 1394815 JAVA 初心者向けビデオチュートリアル 2348194 Little Turtle のゼロベースの Python 学習入門ビデオ チュートリアル 493126 Web フロントエンド開発の簡単な紹介 213406 PSビデオチュートリアルをゼロからマスターする 842648 [Web フロントエンド] Node.js クイック スタート 3116 海外のWeb開発フルスタックコースの完全なコレクション 2484 Go言語実践GraphQL 1975 550W ファンマスターが JavaScript をゼロから段階的に学習します 465 Python マスター Mosh、基礎知識ゼロの初心者でも 6 時間で始められる 10784 最新のダウンロード 詳細> ウェブエフェクト 公式サイト サイト素材 フロントエンドテンプレート [フォームボタン] jQuery エンタープライズ メッセージ フォームの連絡先コード [プレイヤーの特殊効果] HTML5 MP3 オルゴール再生効果 [メニューナビゲーション] HTML5 クールなパーティクル アニメーション ナビゲーション メニューの特殊効果 [フォームボタン] jQuery ビジュアル フォームのドラッグ アンド ドロップ編集コード [プレイヤーの特殊効果] VUE.JS 模倣 Kugou 音楽プレーヤー コード [html5特殊効果] 古典的な HTML5 プッシュ ボックス ゲーム [画像の特殊効果] 画像効果を追加または削減するための jQuery スクロール [フォトアルバム効果] CSS3 個人アルバム カバー ホバー ズーム効果 [ブートストラップ テンプレート] 有機果物と野菜のサプライヤー Web テンプレート Bootstrap5 [バックエンドテンプレート] Bootstrap3 多機能データ情報バックグラウンド管理レスポンシブ Web ページ テンプレート-Novus [ブートストラップ テンプレート] 不動産リソース サービス プラットフォーム Web ページ テンプレート Bootstrap5 [ブートストラップ テンプレート] シンプルな履歴書情報 Web テンプレート Bootstrap4 [ブートストラップ テンプレート] ブートストラップ レスポンシブ ワイドスクリーン ブック教育 Web サイト テンプレート-DREAMLIFE [バックエンドテンプレート] MAC スタイルのレスポンシブ ブルー エンタープライズ CMS バックグラウンド管理システム テンプレート [バックエンドテンプレート] レスポンシブなグラデーション雰囲気の背景管理システムのウェブサイトのテンプレート-usinessbox [ブートストラップ テンプレート] レスポンシブな野菜と果物の店のウェブサイト テンプレート-Organio [PNG素材] かわいい夏の要素のベクター素材 (EPS+PNG) [PNG素材] 4 つの赤い 2023 卒業バッジ ベクター素材 (AI+EPS+PNG) [バナー画像] 歌う鳥と花がいっぱいのカートデザイン春のバナーベクター素材(AI+EPS) [PNG素材] 金色の卒業帽ベクター素材(EPS+PNG) [PNG素材] 黒と白のスタイルの山アイコン ベクター素材 (EPS+PNG) [PNG素材] 異なる色のマントと異なるポーズを持つスーパーヒーローのシルエットベクター素材(EPS+PNG) [バナー画像] フラット スタイルの植樹祭バナー ベクター素材 (AI+EPS) [PNG素材] 9つのコミックスタイルの爆発するチャットバブルベクター素材(EPS+PNG) [フロントエンドテンプレート] 室内装飾クリーニングおよび修理サービス会社のウェブサイトのテンプレート [フロントエンドテンプレート] フレッシュカラーの個人履歴書ガイドページテンプレート [フロントエンドテンプレート] デザイナーのクリエイティブな仕事の履歴書 Web テンプレート [フロントエンドテンプレート] 現代のエンジニアリング建設会社のウェブサイトのテンプレート [フロントエンドテンプレート] 教育サービス機関向けのレスポンシブ HTML5 テンプレート [フロントエンドテンプレート] オンライン電子書籍ストア モールのウェブサイト テンプレート [フロントエンドテンプレート] IT テクノロジーがインターネット企業の Web サイト テンプレートを解決します [フロントエンドテンプレート] パープルスタイル外国為替取引サービスウェブサイトテンプレート 私たちについて 免責事項 Sitemap PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!
class和id顺序不一样而已,你用chrome和firefox查看同一个网页源代码,顺序也是不一样的.
建议题主把网站甚至自己的代码贴出来,方便大家帮你调试。不一样很正常,如果你爬虫爬下来的内容保存为静态页面,和你用浏览器看到的不一样,那么肯定是对对方反爬虫机制给识别了,所以服务器会返回不同的信息。识别爬虫的方法很多,题主如果还有疑惑欢迎再问
楼主建议你贴出全部源代码,因为网站可以识别你是人工浏览器操作还是爬虫。
目前代码来看,建议你增加头部信息!use-agent 那行代码!
经过实测,结论是 bs4 改变了属性的顺序。
1、在浏览器中右键点击页面,选:
2、在 python3 程序中对比: