Saya mempunyai fungsi yang secara rekursif mendapatkan semua fail dalam direktori menggunakan fs.readdirSync. Ia berfungsi dengan baik dengan direktori kecil yang saya jalankan sebagai ujian, tetapi sekarang saya menjalankannya pada direktori yang melebihi 100GB dan ia mengambil masa yang lama untuk disiapkan. Sebarang idea tentang cara mempercepatkan ini atau jika ada cara yang lebih baik? Saya akhirnya perlu menjalankan ini pada beberapa direktori yang mengandungi terabait data.
// Fungsi rekursif untuk mendapatkan fail fungsi getFiles(dir, fail = []) { // Dapatkan tatasusunan semua fail dan direktori dalam direktori yang diluluskan menggunakan fs.readdirSync const fileList = fs.readdirSync(dir); // Cipta laluan penuh fail/direktori dengan menggabungkan direktori yang diluluskan dan nama fail/direktori untuk (fail const of fileList) { nama const = `${dir}/${file}`; // Semak sama ada fail/direktori semasa ialah direktori menggunakan fs.statSync jika (fs.statSync(nama).isDirectory()) { // Jika ia adalah direktori, panggil fungsi getFiles secara rekursif dengan laluan direktori dan tatasusunan fail getFiles(nama, fail); } lain { // Jika ia adalah fail, tolak laluan penuh ke tatasusunan fail files.push(nama); } } mengembalikan fail; }
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
Malangnya, pilihan
异步速度较慢。所以我们需要优化你的代码。您可以使用{withFileTypes:true}untuk melakukan ini adalah 2x lebih pantas.Saya juga mencuba
{recursive:true}选项，但它甚至比您的解决方案还要慢。它不适用于withFileTypesdengan nod v20.Mungkin SSD yang lebih baik dengan kelajuan bacaan tinggi akan membantu. Walaupun saya meneka entri fail dibaca dari indeks sistem fail, tidak pasti bagaimana perkakasan mempengaruhinya.
import fs from 'fs'; const DIR = '/bytex'; function getFiles(dir, files = []) { // Get an array of all files and directories in the passed directory using fs.readdirSync const fileList = fs.readdirSync(dir); // Create the full path of the file/directory by concatenating the passed directory and file/directory name for (const file of fileList) { const name = `${dir}/${file}`; // Check if the current file/directory is a directory using fs.statSync if (fs.statSync(name).isDirectory()) { // If it is a directory, recursively call the getFiles function with the directory path and the files array getFiles(name, files); } else { // If it is a file, push the full path to the files array files.push(name); } } return files; } function getFiles2(dir, files = []) { const fileList = fs.readdirSync(dir, { withFileTypes: true }); fileList.forEach(file => file.isDirectory() ? getFiles2(`${dir}/${file.name}`, files) : files.push(`${dir}/${file.name}`)); return files; } let start = performance.now(); let files = getFiles(DIR); console.log(performance.now() - start); console.log(files.length); start = performance.now(); files = getFiles2(DIR); console.log(performance.now() - start); console.log(files.length);Keluaran: