一提到B站，第一印象就是視頻，相信很多小夥伴和我一樣，都想著去利用網路爬蟲技術取得B站的影片吧，但B站影片其實沒有那麼好拿到的，關於B站的影片獲取，之前#有介紹透過you-get函式庫來實現，有興趣的小夥伴可以看這篇文章：You-Get 就是這麼強勢！ 。
言歸正傳，經常在B站上學習的小伙伴們可能經常會遇到有的博主連載幾十個，甚至幾百個視頻，尤其像這種程式語言、課程、工具使用等連續的教程，就會出現選集系列，如下圖所示。
當然這些#選集的欄位我們肉眼也是可見的##。 只是透過程式來實現的話，可能真沒有想像的那麼簡單。那麼這篇文章的目標呢，就是透過Python網路爬蟲技術，基於selenium庫，實現影片選集的取得。
# 這篇文章我們用的函式庫是selenium，這個是一個用來模擬使用者登入的函式庫，雖然給人的感覺是慢，但是在網路爬蟲領域，這個函式庫還是用的蠻多的，用它來模擬登入、取得資料屢試不爽。以下是實現影片選集採集的所有程式碼，歡迎大家親自動手實作。
# coding: utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
class Item:
page_num = ""
part = ""
duration = ""
def __init__(self, page_num, part, duration):
self.page_num = page_num
self.part = part
self.duration = duration
def get_second(self):
str_list = self.duration.split(":")
sum = 0
for i, item in enumerate(str_list):
sum += pow(60, len(str_list) - i - 1) * int(item)
return sum
def get_bilili_page_items(url):
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 设置无界面
options.add_experimental_option('excludeSwitches', ['enable-automation'])
# options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2,
# "profile.managed_default_content_settings.flash": 0})
browser = webdriver.Chrome(options=options)
# browser = webdriver.PhantomJS()
print("正在打开网页...")
browser.get(url)
print("等待网页响应...")
# 需要等一下，直到页面加载完成
wait = WebDriverWait(browser, 10)
wait.until(EC.visibility_of_element_located((By.XPATH, '//*[@class="list-box"]/li/a')))
print("正在获取网页数据...")
list = browser.find_elements_by_xpath('//*[@class="list-box"]/li')
# print(list)
itemList = []
second_sum = 0
# 2.循环遍历出每一条搜索结果的标题
for t in list:
# print("t text:",t.text)
element = t.find_element_by_tag_name('a')
# print("a text:",element.text)
arr = element.text.split('\n')
print(" ".join(arr))
item = Item(arr[0], arr[1], arr[2])
second_sum += item.get_second()
itemList.append(item)
print("总数量:", len(itemList))
# browser.page_source
print("总时长/分钟:", round(second_sum / 60, 2))
print("总时长/小时:", round(second_sum / 3600.0, 2))
browser.close()
return itemList
get_bilili_page_items("https://www.bilibili.com/video/BV1Eb411u7Fw")這裡用到的選擇器是xpath，利用影片範例是B站的《高等數學》同濟版全程教學影片（宋浩老師）影片選集，大家如果想抓取其他影片選集的話，只需要更改上述程式碼的最後一行的URL連結即可。
在运行过程中小伙伴们应该会经常遇到这个问题，如下图所示。
这个是因为谷歌驱动版本问题导致的，只需要根据提示，去下载对应的驱动版本即可，驱动下载链接：
https://chromedriver.storage.googleapis.com/index.html
以上是手把手教你使用Python網路爬蟲取得B站影片選集內容（附源碼）的詳細內容。更多資訊請關注PHP中文網其他相關文章！
