BeautifulSoup高級技巧：帶條件判斷的HTML元素提取與占位符填充

示例HTML結構：

 <div class="section">
        <a class="site" href="www.example1.com">Site1</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com">Idontneedthis1</a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com">Site2</a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com">Site3</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com">Idontneedthis2</a>                   
</div>

如果僅僅使用soup.find_all('a', class_='site')或soup.select('a.site')，我們會得到一個只包含www.example1.com、www.example2.com、www.example3.com的列表，而那些bogus的條目則會被完全忽略，無法插入佔位符，從而破壞了與原始section數量對應的數據結構。

我們期望的輸出結果是：

 [{"site":"www.example1.com"}, {"site":" "}, {"site":"www.example2.com"}, {"site":"www.example3.com"}, {"site":" "}]

4. 通用解決方案：列表推導式與條件判斷

為了實現上述目標，我們可以採用一種更通用的方法：首先選中所有相關的子元素，然後通過列表推導式結合條件判斷來決定提取什麼內容。

Python實現：

 from bs4 import BeautifulSoup

html_doc = """
<div class="section">
        <a class="site" href="www.example1.com">Site1</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com">Idontneedthis1</a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com">Site2</a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com">Site3</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com">Idontneedthis2</a>                   
</div>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 使用CSS選擇器選中所有直接子元素<a>的.section
# 然後通過列表推導式和條件判斷來構建結果列表result = [
    {"site": " " if "bogus" in a.get("class", []) else a["href"]}
    for a in soup.select(".section > a")
]

print(result)</a>

代碼解析：