Das folgende Beispiel zeigt, wie der URL()-Konstruktor der net.URL-Klasse zum Crawlen einer Webseite verwendet wird:
/* author by w3cschool.cc Main.java */import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileWriter;import java.io.InputStreamReader;import java.net.URL;public class Main { public static void main(String[] args) throws Exception { URL url = new URL("http://www.w3cschool.cc"); BufferedReader reader = new BufferedReader (new InputStreamReader(url.openStream())); BufferedWriter writer = new BufferedWriter (new FileWriter("data.html")); String line; while ((line = reader.readLine()) != null) { System.out.println(line); writer.write(line); writer.newLine(); } reader.close(); writer.close(); }}
Das Ausgabeergebnis der Ausführung des obigen Codes ist (die Quellcode der Webseite, gespeichert in der Datei data.html im aktuellen Verzeichnis):
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"/> <meta http-equiv="X-UA-Compatible" content="IE=11,IE=10,IE=9,IE=8"/>……
Das Obige ist das Java-Beispiel – Webseiten-Crawling-Inhalte. Weitere verwandte Inhalte finden Sie unter PHP chinesische Website (m.sbmmt.com)!