Petua Lanjutan Cantik: Pengekstrakan Elemen HTML dan Pemegang Letak Mengisi dengan Penghakiman Bersyarat

 <div class="Section">
        <a class="site" href="www.example1.com"> site1 </a>                   
</div>
<div class="Section">
        <a class="bogus" href="www.idontneed1.com"> idontNeedThis1 </a>               
</div>
<div class="Section">
        <a class="site" href="www.example2.com"> site2 </a>                   
</div>
<div class="Section">
        <a class="site" href="www.example3.com"> site3 </a>                   
</div>
<div class="Section">
        <a class="bogus" href="www.idontneed2.com"> idontneedthis2 </a>                   
</div>

 [{"site": "www.example1.com"}, {"site": ""}, {"site": "www.example2.com"}, {"site": "www.example3.com"}, {"site": ""}]

 dari bs4 import cantikSoup

html_doc = "" "
<div class="Section">
        <a class="site" href="www.example1.com"> site1 </a>                   
</div>
<div class="Section">
        <a class="bogus" href="www.idontneed1.com"> idontNeedThis1 </a>               
</div>
<div class="Section">
        <a class="site" href="www.example2.com"> site2 </a>                   
</div>
<div class="Section">
        <a class="site" href="www.example3.com"> site3 </a>                   
</div>
<div class="Section">
        <a class="bogus" href="www.idontneed2.com"> idontneedthis2 </a>                   
</div>
"" "

sup = indahSoup (html_doc, 'html.parser')

# Gunakan pemilih CSS untuk memilih .section semua elemen kanak -kanak langsung <a>
# Kemudian membina senarai hasil melalui pemahaman senarai dan hasil penghakiman bersyarat = [
    {"site": "" Jika "palsu" dalam a.get ("kelas", []) else a ["href"]}
    untuk sup.select (". Bahagian> a")
]

cetak (hasil)</a>

1. sup.select (". Seksyen> a") :
   • Pemilih CSS ini adalah kunci kepada penyelesaian. Ia memilih tag semua elemen kanak -kanak langsung elemen div kelas = "seksyen". Ini bermakna tidak kira sama ada nama kelas tag adalah tapak atau palsu, ia akan dipilih selagi ia memenuhi struktur ini. Dengan cara ini, kita boleh melintasi semua tag yang perlu diproses tanpa kehilangan sebarang entri yang sepadan dengan seksyen.
2. untuk sup.select (". Bahagian> a") :
   • Kami melintasi semua tag yang terdapat melalui pemilih di atas. Setiap A mewakili objek Tag BeautifulSoup yang bebas.
3. a.get ("kelas", []) :
   • Kami menggunakan a.get ("kelas", []) untuk mendapatkan atribut kelas dengan selamat tag . Manfaat kaedah mendapatkan () ialah jika harta kelas tidak wujud, ia mengembalikan nilai lalai (di sini adalah senarai kosong []), bukannya membuang keyeRror. Ini meningkatkan keteguhan kod.
4. "Bogus" dalam a.get ("kelas", []) :
   • Ini adalah penghakiman bersyarat. Ia memeriksa sama ada senarai nama kelas semasa mengandungi rentetan "Bogus".
5. "" Jika "palsu" dalam a.get ("kelas", []) lain ["href"] :
   • Ini adalah ungkapan bersyarat (pengendali ternary) dalam python.
     • Jika keadaan "palsu" dalam a.get ("kelas", []) adalah benar (iaitu tag mengandungi kelas palsu), ungkapan kembali "" (rentetan kosong) sebagai pemegang tempat.
     • Sekiranya keadaan itu palsu (iaitu tag tidak mengandungi kelas palsu, yang biasanya bermaksud ia adalah kelas tapak yang kita mahu), ungkapan itu mengembalikan ["href"], yang akan mengekstrak nilai atribut HREF dari tag .
6. {"site": ...} :
   • Akhirnya, setiap lelaran gelung mencipta kamus dengan "tapak" utama dan nilai adalah hasil yang dinilai berdasarkan syarat -syarat di atas. Semua kamus ini dikumpulkan ke dalam senarai untuk membentuk output akhir.

Hasil output:

 [{'site': 'www.example1.com'}, {'site': ''}, {'site': 'www.example2.com'}, {'site': 'www.example3.com'}, {'site': ''}]

5. Fleksibiliti dan Skala

Kaedah ini mempunyai fleksibiliti yang sangat tinggi dan dengan mudah boleh menyesuaikan diri dengan keperluan analisis yang berbeza:

• Ubah suai penghakiman keadaan: Anda boleh mengubah keadaan seperti yang diperlukan. Sebagai contoh, periksa sama ada tag mengandungi teks tertentu, sama ada terdapat atribut lain, atau sama ada unsur induknya memenuhi syarat tertentu.

   # Contoh: Jika atribut HREF kosong, masukkan "N/A"
  # {"site": "n/a" if not a.get ("href") else a ["href"]}
  
  # Contoh: Ekstrak href Jika kandungan teks mengandungi "keperluan", jika tidak, ia kosong# {"site": a ["href"] jika "needthis" dalam a.get_text () else ""}

• Ekstrak atribut atau teks yang berbeza: Sebagai tambahan kepada atribut HREF, anda juga boleh mengekstrak kandungan teks tag (a.get_text ()), atribut lain (["id"]), atau elemen anak mereka.

• Mengendalikan struktur yang lebih kompleks: Jika tidak ada tag di dalam bahagian, dan anda masih ingin menghasilkan entri untuk setiap bahagian, anda perlu melintasi bahagian terlebih dahulu, kemudian cari tag di dalam setiap bahagian dan membuat pertimbangan bersyarat.

   # Contoh: Jika bahagian mungkin tidak mempunyai tag result_complex = []
  untuk seksyen_div dalam sup.select (". Seksyen"):
      a_tag = seksyen_div.find ('a') # Cari tag dalam bahagian semasa jika a_tag:
          # Jika tag dijumpai, buat penghakiman bersyarat hasil_complex.append ({"site": "" if "bogus" dalam a_tag.get ("kelas", []) else a_tag ["href"]})
      lain:
          # Sekiranya tidak ada tag, masukkan result_complex.append lalai lalai ({"site": ""}) 
  cetak (result_complex)

6. Perkara yang perlu diperhatikan

• Ketepatan pemilih: Pastikan pemilih CSS anda cukup tepat untuk memilih semua elemen yang anda ingin memproses, tidak lebih atau kurang. Pemilih yang terlalu luas mungkin mengandungi unsur -unsur yang tidak relevan, dan pemilih yang terlalu sempit mungkin terlepas.
• Keselamatan atribut: Apabila mengakses atribut elemen, seperti ["href"] atau ["kelas"], jika atribut mungkin tidak wujud, sebaiknya gunakan a.get ("attribute_name", default_value) untuk mengelakkan keyeRror. Sebagai contoh, a.get ("href") tidak akan kembali apabila href tidak wujud.
• Jenis Data: Pastikan jenis data pemegang tempat bersesuaian dengan jenis data yang anda harapkan untuk mengekstrak, atau boleh dikenal pasti dengan betul dan ditukar dalam pemprosesan berikutnya.

7. Ringkasan

Dengan bijak menggabungkan pemilih CSS BeautifulSoup dan ekspresi bersyarat dalam pemantauan senarai python, kita boleh membina logik parsing HTML yang kuat dan fleksibel. Kaedah ini bukan sahaja dapat mengekstrak data sasaran dengan tepat, tetapi juga secara automatik memasukkan tempat pemegang letak apabila keadaan tertentu tidak dipenuhi, dengan itu mengekalkan integriti struktur data output dan surat -menyuratnya dengan struktur HTML yang asal, sangat meningkatkan keteguhan dan kecekapan pemprosesan data.