Maison > Java > javaDidacticiel > Comment puis-je compter efficacement les lignes dans de gros fichiers de données Java ?

Comment puis-je compter efficacement les lignes dans de gros fichiers de données Java ?

Patricia Arquette
Libérer: 2024-12-09 09:18:07
original
302 Les gens l'ont consulté

How Can I Efficiently Count Lines in Large Java Data Files?

Compter les lignes dans des fichiers de données volumineux en Java

Compter le nombre de lignes dans des fichiers de données volumineux peut être une tâche ardue. Bien que parcourir le fichier ligne par ligne soit une approche courante, elle prend du temps et est inefficace.

Une alternative plus efficace consiste à utiliser la méthode optimisée suivante :

public static int countLines(String filename) throws IOException {
    InputStream is = new BufferedInputStream(new FileInputStream(filename));
    try {
        byte[] c = new byte[1024];
        int count = 0;
        int readChars = 0;
        boolean empty = true;
        while ((readChars = is.read(c)) != -1) {
            empty = false;
            for (int i = 0; i < readChars; ++i) {
                if (c[i] == '\n') {
                    ++count;
                }
            }
        }
        return (count == 0 && !empty) ? 1 : count;
    } finally {
        is.close();
    }
}

public static int countLinesNew(String filename) throws IOException {
    InputStream is = new BufferedInputStream(new FileInputStream(filename));
    try {
        byte[] c = new byte[1024];

        int readChars = is.read(c);
        if (readChars == -1) {
            // bail out if nothing to read
            return 0;
        }

        // make it easy for the optimizer to tune this loop
        int count = 0;
        while (readChars == 1024) {
            for (int i = 0; i < 1024;) {
                if (c[i++] == '\n') {
                    ++count;
                }
            }
            readChars = is.read(c);
        }

        // count remaining characters
        while (readChars != -1) {
            for (int i = 0; i < readChars; ++i) {
                if (c[i] == '\n') {
                    ++count;
                }
            }
            readChars = is.read(c);
        }

        return count == 0 ? 1 : count;
    } finally {
        is.close();
    }
}
Copier après la connexion

Cette méthode lit le fichier par morceaux de 1 024 octets, réduisant considérablement le nombre d'accès au système de fichiers par rapport à la lecture ligne par ligne. Il maintient un nombre de lignes rencontrées au cours de chaque morceau et accumule le nombre total.

Les benchmarks ont montré que cette méthode est nettement plus rapide que l'utilisation de LineNumberReader. Pour un fichier texte de 1,3 Go, la méthode optimisée prend environ 0,35 seconde pour compter les lignes, tandis que LineNumberReader prend environ 2,40 secondes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

source:php.cn
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal