首页 > Java > java教程 > 如何高效计算大型 Java 数据文件中的行数?

如何高效计算大型 Java 数据文件中的行数?

Patricia Arquette
发布: 2024-12-09 09:18:07
原创
307 人浏览过

How Can I Efficiently Count Lines in Large Java Data Files?

在 Java 中计算大型数据文件中的行数

计算大量数据文件中的行数可能是一项艰巨的任务。虽然逐行迭代文件是一种常见的方法,但它既耗时又低效。

更有效的替代方法是利用以下优化方法:

public static int countLines(String filename) throws IOException {
    InputStream is = new BufferedInputStream(new FileInputStream(filename));
    try {
        byte[] c = new byte[1024];
        int count = 0;
        int readChars = 0;
        boolean empty = true;
        while ((readChars = is.read(c)) != -1) {
            empty = false;
            for (int i = 0; i < readChars; ++i) {
                if (c[i] == '\n') {
                    ++count;
                }
            }
        }
        return (count == 0 && !empty) ? 1 : count;
    } finally {
        is.close();
    }
}

public static int countLinesNew(String filename) throws IOException {
    InputStream is = new BufferedInputStream(new FileInputStream(filename));
    try {
        byte[] c = new byte[1024];

        int readChars = is.read(c);
        if (readChars == -1) {
            // bail out if nothing to read
            return 0;
        }

        // make it easy for the optimizer to tune this loop
        int count = 0;
        while (readChars == 1024) {
            for (int i = 0; i < 1024;) {
                if (c[i++] == '\n') {
                    ++count;
                }
            }
            readChars = is.read(c);
        }

        // count remaining characters
        while (readChars != -1) {
            for (int i = 0; i < readChars; ++i) {
                if (c[i] == '\n') {
                    ++count;
                }
            }
            readChars = is.read(c);
        }

        return count == 0 ? 1 : count;
    } finally {
        is.close();
    }
}
登录后复制

此方法以 1024 字节为单位读取文件,与逐行读取相比,显着减少了文件系统访问次数。它维护每个块期间遇到的行数并累积总计数。

基准测试表明,此方法比使用 LineNumberReader 快得多。对于1.3GB的文本文件,优化方法统计行数大约需要0.35秒,而LineNumberReader大约需要2.40秒。

以上是如何高效计算大型 Java 数据文件中的行数?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板