Heim > Backend-Entwicklung > PHP-Tutorial > javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

WBOY
Freigeben: 2023-03-01 18:26:01
Original
1554 Leute haben es durchsucht

  1. Der Quellcode auf einer Webseite ist wie folgt: javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

2. Verwenden Sie phantomJS Selenium, um den Code abzurufen und mit BeautifulSoup zu analysieren, wie in der Abbildung gezeigt:
javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

3. Versucht, die Sitzung zum Abrufen von Cookies zu verwenden:
Die auf der Anmeldeseite erhaltenen Cookies sind alle unterschiedlich:
javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

Könnten Sie mir bitte sagen, wie ich die Informationen extrahieren kann, die Sie im Quellcode sehen?
Vielen Dank! ! !

Antwortinhalt:

  1. Der Quellcode auf einer Webseite ist wie folgt: javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

2. Verwenden Sie phantomJS Selenium, um den Code abzurufen und mit BeautifulSoup zu analysieren, wie in der Abbildung gezeigt:
javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

3. Versucht, die Sitzung zum Abrufen von Cookies zu verwenden:
Die auf der Anmeldeseite erhaltenen Cookies sind alle unterschiedlich:
javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen

Könnten Sie mir bitte sagen, wie ich die Informationen extrahieren kann, die Sie im Quellcode sehen?
Vielen Dank! ! !

Es wurde behoben~
Mein Anmeldefenster kann nicht gefunden werden. .
Ich bin neu im Crawlen, daher sind meine Fragen von geringem Wert. Bitte verzeihen Sie mir!

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage