Wie lese ich große Dateien effizient Zeile für Zeile in Node.js?

Dateien Zeile für Zeile in Node.js lesen

Diese Frage untersucht das effiziente Lesen großer Dateien Zeile für Zeile in Node.js. Während das bereitgestellte Quora-Beispiel dies für die STDIN-Eingabe demonstriert, erfordert die Umstellung auf einen dateibasierten Ansatz sorgfältige Überlegungen.

Der Versuch, Zeilen mit fs.open() und process.stdin zu lesen, schlägt fehl, weil fs.open () stellt keine Streaming-Schnittstelle wie Process.stdin bereit. Um dieses Problem zu lösen, können wir das in Node.js v0.12 eingeführte Readline-Kernmodul verwenden.

Asynchrones Streaming mit Readline

Das Readline-Modul bietet eine praktische Möglichkeit, große Dateien Zeile für Zeile zu verarbeiten -line asynchron. Hier ein Beispiel:

const fs = require('fs');
const readline = require('readline');

async function processLineByLine() {
  const fileStream = fs.createReadStream('input.txt');

  const rl = readline.createInterface({
    input: fileStream,
    crlfDelay: Infinity // Handle CR LF as a single line break
  });

  for await (const line of rl) {
    console.log(`Line from file: ${line}`);
  }
}

processLineByLine();

Alternative Syntax mit readline

Alternativ kann das Modul readline auch synchron verwendet werden:

const lineReader = require('readline').createInterface({
  input: fs.createReadStream('file.in')
});

lineReader.on('line', (line) => {
  console.log('Line from file:', line);
});

lineReader.on('close', () => {
  console.log('all done');
});

In diesem Beispiel Der lineReader gibt „line“-Ereignisse für jede Zeile in der Datei und ein „close“-Ereignis aus, wenn alle Zeilen abgeschlossen wurden verarbeitet.

Hinweis: Die offizielle Node.js-Dokumentation enthält jetzt ein Beispiel ähnlich dem oben.

Das obige ist der detaillierte Inhalt vonWie lese ich große Dateien effizient Zeile für Zeile in Node.js?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!