So implementieren Sie mit PHP das regelmäßige Crawlen von URLs in Seiten

Erfassen Sie alle Links auf der Seite von der Seite aus. Natürlich ist die Verwendung regulärer PHP-Ausdrücke der bequemste Weg. Um einen regulären Ausdruck zu schreiben, müssen Sie zunächst das Muster zusammenfassen. Wie viele Formen werden die Links auf der Seite haben? Schauen wir uns unten um.

Vorwort

Ein Link ist ein Hyperlink, also ein Link von einem Element (Text, Bild, Video usw.) zu einem anderen Element (Text, Bild, Video usw.). Es gibt im Allgemeinen drei Arten von Links auf Webseiten. Der eine ist ein absoluter URL-Hyperlink, der den vollständigen Pfad zu einer Seite darstellt, und der andere ist ein relativer URL-Hyperlink, der im Allgemeinen auf andere Seiten derselben Website verweist ein Hyperlink innerhalb einer Seite, der im Allgemeinen auf andere Stellen innerhalb derselben Seite verweist.

Sobald Sie die Arten von Links verstanden haben, werden Sie wissen, dass es sich bei den zu greifenden Links hauptsächlich um absolute URL-Hyperlinks und relative URL-Hyperlinks handelt. Um korrekte reguläre Ausdrücke zu schreiben, müssen wir das Muster des gesuchten Objekts verstehen.

Beginnen wir mit absoluten Links, auch URLs (Uniform Resource Locators) genannt, die eindeutige Ressourcen im Internet identifizieren. Die Struktur der URL besteht aus drei Teilen: Protokoll, Servername, Pfad und Dateiname .

Das Protokoll ist eine Kennung, die dem Browser mitteilt, wie er mit der zu öffnenden Datei umgehen soll Das gebräuchlichste ist das http-Protokoll. In diesem Artikel wird nur das HTTP-Protokoll berücksichtigt. Bei Bedarf können Sie auch andere https-, FTP-, Mailto-, Telnet-Protokolle usw. hinzufügen.

Der Servername gibt dem Browser an, wie er diesen Server erreichen kann, normalerweise ein Domänenname oder eine IP-Adresse und manchmal eine Portnummer (Standard ist 80). Im FTP-Protokoll können auch Benutzernamen und Passwörter enthalten sein, die in diesem Artikel nicht berücksichtigt werden.

Der Pfad und der Dateiname, normalerweise durch / getrennt, geben den Pfad zur Datei und den Namen der Datei selbst an. Wenn kein spezifischer Dateiname vorhanden ist, wird auf die Standarddatei in diesem Ordner zugegriffen (kann serverseitig eingestellt werden).

Jetzt ist also klar, dass die typische Form absoluter Links, die gecrawlt werden sollen, wie folgt zusammengefasst werden kann:

<span style="color: #000000">http://www.xxx.com/xxx/yyy/zzz.html</span>

Es gibt eine klare Spezifikation für den Zeichenbereich welche für jedes Teil verwendet werden können, siehe RFC1738 für Einzelheiten. Dann kann der reguläre Ausdruck geschrieben werden.

/(http|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.]+)/i

wird wie folgt erklärt:

(http|https) Die erste Klammer entspricht dem Protokollteil.

([wd-_]+[.wd-_]+)Die zweite Klammer entspricht dem Teil des Domainnamens.

([/]?[w/.]+)Die dritte Klammer entspricht dem relativen Pfad.

Zum jetzigen Zeitpunkt können grundsätzlich die meisten URLs abgeglichen werden, URLs mit Parametern können jedoch nicht gecrawlt werden, was dazu führen kann, dass die Seite beim erneuten Zugriff einen Fehler meldet. Welche Parameter sind in der RFC1738-Spezifikation erforderlich? zu segmentieren, gefolgt von Parametern, aber moderne RIA-Anwendungen verwenden möglicherweise andere seltsame Formen für die Segmentierung.

Ändern Sie es leicht, damit die Abfrageparameter durchsucht werden können. Dies deckt immer noch nicht alle Situationen ab, z. B. Situationen, in denen die URL chinesische Zeichen, Leerzeichen und andere Sonderzeichen enthält, aber im Grunde entspricht es meinen Anforderungen, sodass ich nicht weiter darauf eingehen werde.

/(http|ftp|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.\?=&;%@#\+,]+)/i

Der Vorteil der Verwendung von Klammern besteht darin, dass Sie bei der Verarbeitung der Ergebnisse problemlos das Protokoll, den Domänennamen und den relativen Pfad erhalten können, was die spätere Verarbeitung erleichtert.

Wenn Sie beispielsweise preg_match_all() zum Abgleichen verwenden, enthält Index 0 des Ergebnisarrays alle Ergebnisse, 1 ist das Protokoll, 2 ist der Domänenname und 3 ist der relative Pfad .

Zusammenfassung: Das Obige ist der gesamte Inhalt dieses Artikels, ich hoffe, dass er für das Studium aller hilfreich sein wird.

Verwandte Empfehlungen:

So implementieren Sie eine Mehrfeld-Fuzzy-Matching-Abfrage in PHP

phpmailer So implementieren Sie verbindliche E-Mails

So implementieren Sie eine benutzerdefinierte Funktion in PHP, um den ersten Buchstaben chinesischer Schriftzeichen zu erhalten

Das obige ist der detaillierte Inhalt vonSo implementieren Sie mit PHP das regelmäßige Crawlen von URLs in Seiten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!