Tukar Tangkapan Data: Gambaran Keseluruhan, Sebab dan Amalan Terbaik

Perniagaan hari ini, terutamanya yang mengutamakan transformasi digital, amat memerlukan data masa nyata. Pemprosesan kelompok mingguan dan bulanan tradisional tidak lagi dapat memenuhi permintaan. Walau bagaimanapun, bukan mudah untuk mendapatkan data masa nyata daripada pelbagai sumber dan menggunakannya untuk mengautomasikan proses dan mengoptimumkan keputusan secara dinamik.

Baru-baru ini, kami menghadapi cabaran apabila mereka bina semula sistem warisan pelanggan dan membahagikan seni bina monolitik kepada perkhidmatan mikro. Kami mula membuat perubahan pada pangkalan data dan memodenkan sistem mengikut modul. Pada peringkat ini, kita perlu memastikan bahawa kedua-dua pangkalan data kekal segerak, kerana modul yang berbeza mungkin memerlukan data yang sama - dengan kata lain, sistem lama memerlukan data yang dijana oleh sistem baharu dalam pangkalan data baharu, dan sebaliknya.

Kami menyelidik teknologi Change Data Capture (CDC) untuk menentukan sama ada ia sesuai dengan keperluan kami. Artikel itu memperincikan takrif CDC, alat yang kami uji, cara ia berfungsi dan kelebihannya. Pada masa yang sama, kami berkongsi beberapa kes dan cadangan untuk membantu juruteknik lain memilih alat CDC yang sesuai dalam situasi tertentu.

Apakah tangkapan data perubahan?

Tangkapan data ialah proses mengesan dan menangkap perubahan dalam sistem sumber dan kemudian menyampaikan perubahan tersebut kepada sistem sasaran dalam hampir masa nyata. Perubahan ini mungkin termasuk memasukkan, memadam, mengemas kini operasi dan perubahan DDL pada struktur pangkalan data.

Cara menukar alat tangkapan data berfungsi

Alat CDC melaksanakan fungsinya dengan memantau perubahan data dalam sistem sumber. Sebaik sahaja perubahan ditemui, alat CDC menangkap dan merekodkannya di lokasi yang ditetapkan, seperti pangkalan data atau fail log. Data yang diproses dan diubah kemudiannya dimuatkan ke dalam sistem sasaran, seperti gudang data atau platform analitik.

Terdapat pelbagai cara untuk menangkap perubahan pangkalan data. Mari lihat beberapa daripadanya:

1. Cap masa/berasaskan pertanyaan

Dalam kaedah ini, kami akan mengekalkan beberapa lajur audit yang serupa dengan CREATED_AT, LAST_UPDATED atau DATE_MODIFIED dalam sumber dan mengesan perubahan dalam lajur ini dengan menanyakan data dalam sumber untuk menangkap sebarang perubahan data. Perlu diingatkan bahawa kaedah ini tidak merekodkan operasi pemadaman.

2. Berasaskan pencetus

Pencetus ialah fungsi dalam pangkalan data yang melakukan tindakan berdasarkan peristiwa tertentu. Walaupun berguna untuk menangkap sebarang perubahan, termasuk operasi memadam, ia mengurangkan prestasi pangkalan data kerana setiap peristiwa memerlukan berbilang penulisan.

3. Berasaskan log

Pangkalan data mengandungi log transaksi untuk pemulihan sekiranya berlaku ranap, menyimpan semua acara. Dengan CDC berasaskan log, transaksi pangkalan data baharu dibaca terus daripada log asli, yang membolehkan perubahan ditangkap tanpa mengimbas jadual sumber dan oleh itu lebih cekap.

Pendekatan ini serupa dengan penyumberan acara dalam seni bina dipacu peristiwa Setiap kali keadaan sistem berubah, kami merekodkannya sebagai peristiwa. Peristiwa yang dirakam boleh dimainkan semula dalam susunan yang sama untuk membina semula keadaan sistem pada bila-bila masa.

Kenapa guna CDC?

CDC adalah kritikal dalam banyak senario bergantung pada situasi, aplikasi, seni bina dan keperluan perniagaan. Berikut ialah beberapa cara CDC membantu proses kejuruteraan:

• Ketersediaan data masa nyata: Alat CDC menangkap perubahan dalam hampir masa nyata, memastikan data terkini tersedia untuk analisis, pelaporan atau pemprosesan selanjutnya.
• Membuat Keputusan Lebih Cepat: CDC membantu mengurangkan kelewatan antara tangkapan dan ketersediaan data, membolehkan analisis dan membuat keputusan yang lebih pantas.
• Penyepaduan data yang cekap: Alat CDC membantu menangkap data daripada berbilang sumber operasi dan menukarnya kepada format biasa dalam satu pangkalan data sasaran atau tasik data.
• Reka bentuk pangkalan data sasaran tersuai: CDC menyediakan faedah silang fungsi, seperti mencipta pangkalan data carian atau pertanyaan baca sahaja dalam sistem CQRS, mencipta pangkalan data audit atau menangkap data dalam gudang data. Ia membolehkan untuk menyahganding keperluan tidak berfungsi dan seni bina daripada stor data utama.
• Penghijrahan data yang dipermudahkan: Dalam kes kami, CDC membantu mengekalkan konsistensi data antara pangkalan data lama dan baharu semasa fasa pemodenan. Ini terpakai kepada pelbagai senario pemindahan data lain juga.

Bagaimana untuk memilih alat CDC yang betul?

Terdapat beberapa alatan CDC di pasaran, seperti Oracle Golden Gate, Debezium, IBM Infosphere, Striim, StreamSets dan Qlik Replicate. Alat ini boleh menjadi sumber terbuka atau berbayar. Mereka biasanya menyokong persekitaran di premis dan awan serta boleh mengendalikan pelbagai sumber data. Apabila memilih, pertimbangkan perkara berikut:

• Keserasian dengan sumber data: Sekurang-kurangnya, alat yang anda pilih mestilah serasi dengan semua sumber data yang anda ingin tangkap perubahan.
• Tangkapan data masa nyata: Alat harus menangkap perubahan dalam hampir masa nyata supaya anda boleh bekerja dengan data terkini.
• Penukaran dan penyepaduan data: Alat CDC seharusnya dapat mengendalikan penukaran data daripada sumber kepada jenis data sasaran.
• Harga: Alat CDC mestilah kos efektif untuk kes penggunaan anda. Terdapat sumber terbuka, produk berbayar dan berlesen tersedia.
• Kemudahan penggunaan dan sokongan: Alat ini harus mudah digunakan untuk pasukan anda dan memberikan sokongan yang mencukupi, termasuk dokumentasi komprehensif dan sokongan teknikal.
• Ciri Lain: Bergantung pada keperluan anda, anda juga mungkin ingin melihat ciri khusus lain seperti penyegerakan dua hala antara sumber dan destinasi serta sokongan awan.

Apabila perniagaan menjadi dipacu teknologi, data sejarah dan semasa akan menjadi pembeza yang penting. Mencapai penangkapan data perubahan yang tepat, tepat pada masanya, cekap dan kos efektif akan menjadi bahagian penting dalam sebarang inisiatif transformasi teknologi. Apabila anda menghadapi situasi ini, saya harap artikel ini dapat membantu anda.

Atas ialah kandungan terperinci Tukar Tangkapan Data: Gambaran Keseluruhan, Sebab dan Amalan Terbaik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!