Tutorial mengenai Penyalinan Kandungan Folder Penyimpanan Awan: Berdasarkan senarai fail dan operasi berulang

Artikel ini bertujuan untuk menyediakan tutorial praktikal tentang cara mengikat menyalin kandungan "folder" dalam perkhidmatan penyimpanan awan seperti Google Cloud Storage atau storan firebase. Oleh kerana perkhidmatan penyimpanan awan biasanya tidak mempunyai konsep folder dalam sistem fail tradisional, laluan fail hanya sebahagian daripada nama objek, jadi keseluruhan folder tidak dapat disalin terus melalui API tunggal. Strategi teras adalah: Senarai pertama semua objek fail di bawah sumber "folder", dan kemudian menyalin fail -fail ini ke laluan sasaran yang ditentukan satu demi satu, dengan itu merealisasikan penghijrahan kandungan folder.

Memahami konsep "folder" dalam penyimpanan awan

Dalam banyak perkhidmatan penyimpanan awan, seperti Google Cloud Storage (penyimpanan Firebase yang mendasari menggunakan GCS), "folder" bukan entiti bebas. Mereka hanya awalan laluan yang terkandung dalam nama fail (objek). Sebagai contoh, fail bernama dokumen/docid/file.Name mempunyai dokumen/docid/sebahagian daripada nama objek sahaja dan tidak mewakili objek folder sebenar. Ini bermakna anda tidak boleh menyalin secara langsung "folder" seperti yang anda lakukan dalam sistem fail tempatan anda.

Untuk mencapai salinan kumpulan "Folder", kita perlu mengamalkan penyelesaian:

1. Senarai Fail: Mendapatkan semua objek fail di bawah awalan Path "Folder" sumber.
2. Salin satu demi satu: Jalankan melalui fail -fail ini dan salin setiap fail dari laluan asalnya ke laluan sasaran baru.

Langkah Pelaksanaan Operasi Salinan Batch

Kami akan menunjukkan proses ini menggunakan Node.js dan Firebase Admin SDK (untuk storan Google Cloud).

Langkah 1: Senaraikan semua fail di bawah awalan yang ditentukan

Untuk mendapatkan semua fail di bawah "folder", anda boleh menggunakan kaedah baldi.getFiles () dan lulus parameter awalan untuk menentukan awalan laluan.

 const admin = memerlukan ('firebase-admin');

// pastikan sdk admin firebase diasaskan
// admin.initializeapp ({
// kelayakan: admin.credential.applicationDefault (),
// StorageBucket: 'your-project-id.appspot.com' // Gantikan dengan nama baldi anda //});

/**
 * Menyenaraikan semua fail di bawah awalan yang ditentukan.
 * @param {String} Awalan awalan fail untuk disenaraikan (iaitu "Folder" Path).
 * @returns {Promise <array>>} array yang mengandungi objek fail.
 */
fungsi async ListFileSInPrefix (awalan) {
  const bucket = admin.Storage (). Bucket ();
  biarkan fail = [];
  Cuba {
    // Kaedah getFiles mengembalikan array, elemen pertama adalah pelbagai objek fail, dan yang kedua adalah token pertanyaan seterusnya (untuk paging)
    [Files] = menunggu Bucket.GetFiles ({awalan: awalan});
    console.log (`cari $ {files.length} fail di bawah '$ {prefix}'.`);
    mengembalikan fail;
  } menangkap (ralat) {
    Console.error (`gagal menyenaraikan fail, awalan: $ {awalan}, ralat:`, ralat);
    membuang ralat;
  }
}

// Contoh Penggunaan // ListFileSInPrefix ('Dokumen/1/')
// .then (files => {
// files.foreach (file => console.log (file.name));
//})
// .catch (err => console.error ('gagal mendapatkan senarai fail:', err));</array>

Langkah 2: Salin fail satu demi satu ke lokasi baru

Selepas mendapat senarai fail, kami perlu meleleh melalui setiap fail dan menyalinnya ke laluan sasaran baru menggunakan kaedah File.Copy (). Apabila membina laluan sasaran, anda perlu menggantikan bahagian laluan fail asal yang dimiliki oleh awalan "folder" dengan folder sasaran baru "Folder".

 /**
 * Kandungan "Folder" Salinan Awan Penyimpanan Awan ke lokasi baru.
 * Oleh kerana penyimpanan awan tidak mempunyai folder dalam pengertian tradisional, operasi ini dicapai dengan menyenaraikan fail yang sepadan dengan awalan dan menyalinnya satu demi satu.
 * @param {string} sumber prefix SourcePrefix Source 'Folder', seperti 'Documents/Docid/' atau 'Documents/Docid'
 * @param {string} destinasi prefix Path DestinationPrefix Sasaran ', seperti' Pengguna/UserId/Documents/Docid/'atau' Pengguna/UserID/Documents/Docid '
 * @returns {Promise <boid>}
 */
Fungsi Async CopyFolderContents (SourcePrefix, DestinationPrefix) {
  const bucket = admin.Storage (). Bucket ();

  // pastikan awalan berakhir dengan slash supaya pemprosesan laluan seterusnya adalah konsisten constiversiveSourcePrefix = sourcePrefix.endSwith ('/')? SourcePrefix: SourcePrefix '/';
  const EffectiveDestinationPrefix = destinasiPrefix.endSwith ('/')? DestinationPrefix: DestinationPrefix '/';

  Biarkan filestocopy;

  Cuba {
    // 1. Senaraikan semua fail di bawah awalan sumber [filestocopy] = menunggu baldi.getfiles ({prefix: effectiveSourcePrefix});

    jika (fileStocopy.length === 0) {
      console.log (tiada fail yang terdapat di bawah `sumber sumber '$ {effectiveSourcePrefix}'.`);
      kembali;
    }

    console.log (`cari $ {filestocopy.length} fail dan mula menyalin ...`);

    // 2. Buat operasi salinan untuk setiap fail
    const copyPromises = fileStocopy.map (async (file) => {
      // Ekstrak nama fail relatif dari jalur fail asal const relativeFileName = file.name.substring (effectiveSourcePrefix.length);
      // Membina jalur fail sasaran baru const destinationPath = effectiveDestinationPrefix relatifFileName;

      Cuba {
        menunggu file.copy (bucket.file (destinasiPath));
        console.log (`berjaya disalin: $ {file.name} -> $ {destinationpath}`);
        kembali {status: 'dipenuhi', nilai: {source: file.name, destinasi: destinasipath}};
      } menangkap (ralat) {
        console.error (`Copy gagal: $ {file.name} -> $ {destinationpath}, error:`, error);
        kembali {status: 'ditolak', alasan: ralat baru (`copy file $ {file.name} gagal: $ {error.message}}}};
      }
    });

    // 3. Gunakan Janji.AllSettled untuk menunggu semua Operasi Salin untuk melengkapkan // Promise.allSettled akan menunggu semua Janji untuk diselesaikan, tanpa mengira kejayaan atau kegagalan Const Results = menunggu janji.allsettled (CopyPromises);

    kegagalan const = results.filter (result => result.status === 'ditolak');
    jika (kegagalan.length> 0) {
      Console.warn (`Operasi salinan batch selesai, tetapi salinan $ {files.length} fail gagal.`);
      kegagalan.foreach (gagal => console.error ('Butiran gagal:', fail.Reason));
      membuang ralat baru (`Operasi salinan batch gagal sepenuhnya berjaya, dan terdapat $ {Failures.Length} fail yang gagal disalin.`);
    } else {
      Console.log (`semua $ {filestocopy.length} fail telah disalin dengan jayanya.`);
    }

  } menangkap (err) {
    Console.error (`ralat berlaku semasa melakukan replikasi batch:`, err);
    membuang kesalahan; // rethrow untuk pemanggil untuk mengendalikan}
}

// Contoh penggunaan // Katakan anda ingin menyalin segala -galanya di bawah 'dokumen/1/' kepada 'pengguna/testid/dokumen/1/'
// CopyFolderContents ('Dokumen/1/', 'Pengguna/TestId/Dokumen/1/')
// .then (() => console.log ('Operasi salinan batch selesai.'))
// .catch (err => console.error ('Operasi salinan batch gagal:', err));</boid>

Nota dan amalan terbaik

1. Prestasi dan kos operasi berskala besar:

   • Pagination: Untuk "folder" yang mengandungi sejumlah besar fail (seperti puluhan ribu atau beratus -ratus ribu fail), Bucket.GetFiles () boleh mengembalikan hasil separa. Anda perlu mengendalikan penomboran, iaitu menggunakan autopaginate: pilihan palsu dan semak NextQuery atau NextPageToken dalam hasil pulangan untuk mendapatkan semua fail.
   • Salinan selari: Janji.AllSettled boleh melakukan pelbagai operasi replikasi selari, yang dapat meningkatkan kecekapan dengan ketara. Tetapi sedar sekatan konkurensi dan kuota API.
   • Kos: Operasi replikasi menanggung kos operasi dan potensi penghantaran data (trafik keluar) kos. Untuk replikasi silang rantau, kos mungkin lebih tinggi. Sila periksa butiran harga pembekal perkhidmatan awan anda.

2. Pengendalian ralat dan idempotence:

   • Kod di atas menggunakan janji.allsettled untuk memastikan bahawa keseluruhan operasi berterusan dan melaporkan semua keputusan walaupun sesetengah fail disalin gagal.
   • Kaedah ini bukan operasi atom. Jika kesilapan atau gangguan berlaku semasa proses penyalinan, beberapa fail mungkin telah disalin, sementara yang lain tidak. Sekiranya anda perlu memastikan atomik operasi (sama ada semua berjaya atau semua gagal), anda mungkin memerlukan pengurusan transaksi yang lebih kompleks atau mekanisme rollback.
   • Pertimbangkan untuk melaksanakan logik semula, terutamanya untuk kesilapan sementara rangkaian.

3. Penghapusan fail sumber (operasi bergerak):

   • Jika tujuan anda adalah untuk "memindahkan" kandungan folder daripada hanya menyalin, anda perlu memadam fail sumber satu demi satu selepas semua fail berjaya disalin ke lokasi baru. Pastikan untuk melakukan penghapusan selepas mengesahkan bahawa semua operasi replikasi telah selesai berjaya untuk mengelakkan kehilangan data.

4. Pemprosesan Laluan:

   • Pastikan SourcePrefix dan DestinationPrefix diformat dengan betul. Dalam kod contoh, kami memastikan konsistensi awalan dengan menambah slashes, yang membantu untuk mengekstrak nama fail dengan betul dan membina laluan sasaran.

Meringkaskan

Walaupun perkhidmatan penyimpanan awan tidak menyediakan API replikasi "folder" langsung, dengan menggabungkan senarai fail dan strategi salinan satu demi satu, kami dapat melaksanakan penghijrahan kandungan folder secara berkesan. Memahami mekanisme asas penyimpanan awan dan mengendalikan prestasi, kos, dan kesilapan operasi berskala besar adalah kunci untuk berjaya melaksanakan tugas-tugas tersebut. Berikutan langkah -langkah dan langkah berjaga -jaga yang disediakan dalam artikel ini akan membantu anda menguruskan data fail dalam penyimpanan awan dengan selamat dan cekap.

Atas ialah kandungan terperinci Tutorial mengenai Penyalinan Kandungan Folder Penyimpanan Awan: Berdasarkan senarai fail dan operasi berulang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!