Derzeit lerne ich etwas Wissen über Crawler und verwende Selenium zum Crawlen einiger komplexer Websites.
Ich bin auf ein Problem gestoßen. Die Arbeitsauftrags-Website, die ich crawlen muss (ich kenne das Passwort nicht), muss mich zuerst bei einem Authentifizierungssystem anmelden und dann auf der Seite des Authentifizierungssystems auf die Arbeitsauftragssystem-Verbindung klicken springt automatisch zum Arbeitsauftrag, ohne sich anzumelden. Eine einzelne Systemwebsite. Wie sollte ich einen Crawler verwenden, um die Daten dieses Systems zu crawlen?
Das Folgende ist der HTML-Code für das von Selenium erhaltene Arbeitsauftragssystem, das Authentifizierungssystem
<a href="/link-test001" target="_blank" title="工单系统" rel="link-test001" data="1" datasrc="工单系统|||/files/link/test001.gif|||new|||/link-test001">
<img src="/files/link/test001.gif" width="25" height="25" alt="工单系统" align="absmiddle"><span>工单系统</span>
</a>
用firefox的扩展selenium ide录制一遍操作。
然后导出为python文件。
改改运行就可以了。
建议你去读读虫师写的书。
例如使用requests库作为爬虫的话，先创建session()，A登录，B是跳转的页面即可。
创建的T就代表存储的cookie，会一直保留