Comment corriger les erreurs « CERTIFICATE_VERIFY_FAILED » lors du scraping de sites Web avec SSL ?

Échec de la vérification du certificat : dépannage des erreurs SSL lors du scraping

Lors du scraping de sites Web qui utilisent les protocoles SSL (Secure Socket Layer), les développeurs peuvent rencontrer le Erreur "CERTIFICATE_VERIFY_FAILED". Cette erreur indique que la vérification du certificat SSL du site Web a échoué.

Un exemple courant de cette erreur se produit lorsque vous tentez de gratter Wikipédia à l'aide du code Python suivant :

<code class="python">import urllib.request
import bs4
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urllib.request.urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = bs4.BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href']
                print(newPage)
                pages.add(newPage)
                getLinks(newPage)
getLinks("")</code>

Lors de l'exécution de ce code, vous pouvez rencontrer l'erreur suivante :

urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

Solution pour les utilisateurs de macOS

Si vous utilisez macOS, la solution à cette erreur est simple. Accédez à Macintosh HD > Applications > Dossier Python 3.6 (ou quelle que soit la version de Python que vous utilisez) et double-cliquez sur le fichier "Install Certificates.command". Cette commande installera les certificats nécessaires dans le trousseau de votre système.

Après avoir exécuté cette commande, l'erreur "CERTIFICATE_VERIFY_FAILED" ne devrait plus apparaître lors du scraping de Wikipédia ou d'autres sites Web sécurisés par SSL.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!