橡皮擦的爬虫课最棒
用1段自定义的 HTML 代码来演示
用2段自定义的 HTML 代码来演示
CSDN 网站
BeautifulSoup4是一款python 解析庫，主要用於解析HTML 和XML，在爬蟲知識體系中解析HTML 會比較多一些，
此函式庫安裝指令如下：
pip install beautifulsoup4
BeautifulSoup在解析資料時，需依賴第三方解析器，常用解析器與優點如下：
python 標準函式庫html.parser：python 內建標準函式庫，容錯能力強；
#lxml 解析器：速度快，容錯能力強；
#html5lib：容錯性最強，解析方式與瀏覽器一致。
接下來用一段自訂的HTML 程式碼來示範beautifulsoup4函式庫的基本使用，測試程式碼如下：
测试bs4模块脚本 橡皮擦的爬虫课
用一段自定义的 HTML 代码来演示
使用BeautifulSoup對其進行簡單的操作，包含實例化BS 對象，輸出頁標等內容。
from bs4 import BeautifulSoup text_str = """测试bs4模块脚本 橡皮擦的爬虫课
用1段自定义的 HTML 代码来演示
用2段自定义的 HTML 代码来演示
""" # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") # 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化 # soup = BeautifulSoup(open('test.html')) print(soup) # 输入网页标题 title 标签 print(soup.title) # 输入网页 head 标签 print(soup.head) # 测试输入段落标签 p print(soup.p) # 默认获取第一个
我們可以透過BeautifulSoup 對象，直接呼叫網頁標籤，這裡有一個問題，透過BS 物件呼叫標籤只能取得排在第一位置上的標籤，如上述程式碼中，只取得到了一個p標籤，如果想要取得更多內容，請繼續閱讀。
學習到這裡，我們需要了解BeautifulSoup 中的4 個內建物件：
BeautifulSoup：基本對象，整個HTML 對象，一般當做Tag 對像看即可；
Tag：標籤對象，標籤就是網頁中的各個節點，例如title，head，p；
NavigableString：標籤內部字串；
Comment：註解對象，爬蟲裡面使用場景不多。
下述程式碼為你示範這幾種物件出現的場景，注意程式碼中的相關註解：
from bs4 import BeautifulSoup text_str = """测试bs4模块脚本 橡皮擦的爬虫课
用1段自定义的 HTML 代码来演示
用2段自定义的 HTML 代码来演示
""" # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") # 上述是将字符串格式化为 Beautiful Soup 对象，你可以从一个文件进行格式化 # soup = BeautifulSoup(open('test.html')) print(soup) print(type(soup)) ## 输入网页标题 title 标签 print(soup.title) print(type(soup.title)) # print(type(soup.title.string)) # # 输入网页 head 标签 print(soup.head)
對於Tag 物件，有兩個重要的屬性，是name和attrs
from bs4 import BeautifulSoup text_str = """测试bs4模块脚本 橡皮擦的爬虫课
用1段自定义的 HTML 代码来演示
用2段自定义的 HTML 代码来演示
CSDN 网站 """ # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") print(soup.name) # [document] print(soup.title.name) # 获取标签名 title print(soup.html.body.a) # 可以通过标签层级获取下层标签 print(soup.body.a) # html 作为一个特殊的根标签，可以省略 print(soup.p.a) # 无法获取到 a 标签 print(soup.a.attrs) # 获取属性
上述程式碼示範了取得name屬性和attrs屬性的用法，其中attrs屬性得到的是字典，可以透過鍵來取得對應的值。
取得標籤的屬性值，在BeautifulSoup 中，也可以使用以下方法：
print(soup.a["href"]) print(soup.a.get("href"))
取得NavigableString物件取得了網頁標籤之後，就要取得標籤內文字了，透過下述程式碼進行。
print(soup.a.string)
除此之外，你還可以使用text屬性和get_text()方法來取得標籤內容。
print(soup.a.string) print(soup.a.text) print(soup.a.get_text())
也可以取得標籤內所有文本，使用strings和stripped_strings即可。
print(list(soup.body.strings)) # 获取到空格或者换行 print(list(soup.body.stripped_strings)) # 去除空格或者换行
擴展標籤/節點選擇器之遍歷文檔樹
#直接子節點
#標籤（Tag）物件的直接子元素，可以使用contents和children屬性取得。
from bs4 import BeautifulSoup text_str = """""" # 实例化 Beautiful Soup 对象 soup = BeautifulSoup(text_str, "html.parser") # contents 属性获取节点的直接子节点，以列表的形式返回内容 print(soup.div.contents) # 返回列表 # children 属性获取的也是节点的直接子节点，以生成器的类型返回 print(soup.div.children) # 返回测试bs4模块脚本
請注意以上兩個屬性取得的都是直接子節點，例如h2標籤內的後代標籤span，不會單獨獲取到。
如果希望將所有的標籤都取得到，使用descendants屬性，它傳回的是一個產生器，所有標籤包含標籤內的文字都會單獨取得。
print(list(soup.div.descendants))
其它節點的獲取（了解即可，即查即用）
#parent和parents：直接父節點和所有父節點；
next_sibling，next_siblings，previous_sibling，previous_siblings：分別表示下一個兄弟節點、下面所有兄弟節點、上一個兄弟節點、上面所有兄弟節點，由於換行符也是一個節點，所有在使用這幾個屬性時，請注意一下換行符；
next_element，next_elements，previous_element，previous_elements：這幾個屬性分別表示上一個節點或下一個節點，注意它們不分層次，而是針對所有節點，例如上述程式碼中div節點的下一個節點是h2，而div節點的兄弟節點是ul。
文件樹搜尋相關函數
第一個要學習的函數就是find_all()函數，原型如下圖所示：
find_all(name,attrs,recursive,text,limit=None,**kwargs)
name：此參數為tag 標籤的名字，例如find_all('p')是找出所有的p標籤，可接受標籤名稱字串、正規表示式與清單；
attrs：传入的属性，该参数可以字典的形式传入，例如attrs={'class': 'nav'}，返回的结果是 tag 类型的列表；
上述两个参数的用法示例如下：
print(soup.find_all('li')) # 获取所有的 li print(soup.find_all(attrs={'class': 'nav'})) # 传入 attrs 属性 print(soup.find_all(re.compile("p"))) # 传递正则，实测效果不理想 print(soup.find_all(['a','p'])) # 传递列表
recursive：调用find_all ()方法时，BeautifulSoup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数recursive=False，测试代码如下：
print(soup.body.div.find_all(['a','p'],recursive=False)) # 传递列表
text：可以检索文档中的文本字符串内容，与name参数的可选值一样，text参数接受标签名字符串、正则表达式、 列表；
print(soup.find_all(text='首页')) # ['首页'] print(soup.find_all(text=re.compile("^首"))) # ['首页'] print(soup.find_all(text=["首页",re.compile('课')])) # ['橡皮擦的爬虫课', '首页', '专栏课程']
limit：可以用来限制返回结果的数量；
kwargs：如果一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作 tag 的属性来搜索。这里要按class属性搜索，因为class是 python 的保留字，需要写作class_，按class_查找时，只要一个 CSS 类名满足即可，如需多个 CSS 名称，填写顺序需要与标签一致。
print(soup.find_all(class_ = 'nav')) print(soup.find_all(class_ = 'nav li'))
还需要注意网页节点中，有些属性在搜索中不能作为kwargs参数使用，比如html5中的data-*属性，需要通过attrs参数进行匹配。
与
find_all()方法用户基本一致的其它方法清单如下：
find()：函数原型find( name , attrs , recursive , text , **kwargs )，返回一个匹配元素；
find_parents()，find_parent()：函数原型find_parent(self, name=None, attrs={}, **kwargs)，返回当前节点的父级节点；
find_next_siblings()，find_next_sibling()：函数原型find_next_sibling(self, name=None, attrs={}, text=None, **kwargs)，返回当前节点的下一兄弟节点；
find_previous_siblings()，find_previous_sibling()：同上，返回当前的节点的上一兄弟节点；
find_all_next()，find_next()，find_all_previous () ，find_previous ()：函数原型find_all_next(self, name=None, attrs={}, text=None, limit=None, **kwargs)，检索当前节点的后代节点。
CSS 选择器该小节的知识点与pyquery有点撞车，核心使用select()方法即可实现，返回数据是列表元组。
通过标签名查找，soup.select("title")；
通过类名查找，soup.select(".nav")；
通过 id 名查找，soup.select("#content")；
通过组合查找，soup.select("div#content")；
通过属性查找，soup.select("div[id='content'")，soup.select("a[href]")；
在通过属性查找时，还有一些技巧可以使用，例如：
^=：可以获取以 XX 开头的节点：
print(soup.select('ul[class^="na"]'))
*=：获取属性包含指定字符的节点：
print(soup.select('ul[class*="li"]'))
BeautifulSoup 的基础知识掌握之后，在进行爬虫案例的编写，就非常简单了，本次要采集的目标网站 ，该目标网站有大量的艺术二维码，可以供设计大哥做参考。
下述应用到了 BeautifulSoup 模块的标签检索与属性检索，完整代码如下：
from bs4 import BeautifulSoup import requests import logging logging.basicConfig(level=logging.NOTSET) def get_html(url, headers) -> None: try: res = requests.get(url=url, headers=headers, timeout=3) except Exception as e: logging.debug("采集异常", e) if res is not None: html_str = res.text soup = BeautifulSoup(html_str, "html.parser") imgs = soup.find_all(attrs={'class': 'lazy'}) print("获取到的数据量是", len(imgs)) datas = [] for item in imgs: name = item.get('alt') src = item["src"] logging.info(f"{name},{src}") # 获取拼接数据 datas.append((name, src)) save(datas, headers) def save(datas, headers) -> None: if datas is not None: for item in datas: try: # 抓取图片 res = requests.get(url=item[1], headers=headers, timeout=5) except Exception as e: logging.debug(e) if res is not None: img_data = res.content with open("./imgs/{}.jpg".format(item[0]), "wb+") as f: f.write(img_data) else: return None if __name__ == '__main__': headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36" } url_format = "http://www.9thws.com/#p{}" urls = [url_format.format(i) for i in range(1, 2)] get_html(urls[0], headers)
本次代码测试输出采用的logging模块实现，效果如下图所示。 测试仅采集了 1 页数据，如需扩大采集范围，只需要修改main函数内页码规则即可。 ==代码编写过程中，发现数据请求是类型是 POST，数据返回格式是 JSON，所以本案例仅作为 BeautifulSoup 的上手案例吧==
以上是python beautifulsoup4模組怎麼用的詳細內容。更多資訊請關注PHP中文網其他相關文章！
