Intégration de MySQL à Apache Kafka pour les flux de données en temps réel

L'intégration de MySQL et Apache Kafka peut réaliser la poussée de changement de données en temps réel. Les solutions courantes sont les suivantes: 1. Utilisez DeBezium pour capturer les modifications de la base de données, encapsulez les modifications de données en messages Kafka en lisant le binlog MySQL. Le processus comprend l'activation du binlog, l'installation des plug-ins Kafka Connect et DeBezium, configurer les connecteurs et démarrer; 2. Pousser les modifications de Kafka à travers les déclencheurs MySQL, mais il y a des lacunes telles que de mauvaises performances, pas de mécanisme de réessayer et une maintenance complexe, qui ne conviennent que pour des scénarios simples; 3. Utiliser les services de synchronisation des données fournis par des fabricants de cloud tels que Alibaba Cloud DTS, AWS DMS, etc., qui présentent les avantages de la configuration graphique sans entretien et de la prise en charge de la transmission continue de point d'arrêt, mais cela nécessite un certain coût. Parmi eux, DeBezium est la solution la plus rentable et adaptée à la plupart des équipes de petite et moyenne taille.

L'intégration de MySQL et Apache Kafka devient de plus en plus courante dans les architectures de données modernes en temps réel. Autrement dit, cette combinaison vous permet de pousser les changements de données dans MySQL en temps réel pour la consommation et le traitement par d'autres systèmes. Par exemple, lorsque l'état de la commande est mis à jour, les services en aval peuvent recevoir des notifications immédiatement et répondre.

La clé pour y parvenir est de savoir comment capturer les changements de données dans MySQL et les transférer à Kafka de manière efficace et fiable. Voici quelques pratiques et suggestions courantes.

Utiliser DeBezium pour capturer les modifications de la base de données

DeBezium est un outil open source basé sur Kafka Connect, spécialement utilisé pour capturer les modifications de la structure de la base de données et les modifications de données (c'est-à-dire le CDC, la capture des données du changement). Il prend en charge MySQL, PostgreSQL et d'autres bases de données.

• Il obtient des changements de données en lisant le binlog de MySQL
• Les événements de changement seront encapsulés sous forme de messages kafka et envoyés au sujet spécifié
• La configuration est relativement simple, la communauté est active et la documentation est complète

Le processus de base de l'utilisation de DeBezium est le suivant:

1. Activer le binlog MySQL et réglé en mode ligne
2. Installer et configurer les plug-ins Kafka Connect et DeBezium
3. Créer un fichier de configuration de connecteur, spécifiant les informations et les tables de connexion de la base de données à écouter
4. Démarrez Kafka Connect et chargez le connecteur

Une fois cette étape terminée, vous pouvez voir les sujets de message correspondants de chaque tableau, qui contiennent des enregistrements détaillés des opérations d'insertion, de mise à jour et de suppression.

Schéma de déclenchement qui écrit directement à Kafka (utilisation avec prudence)

Certaines équipes envisageront d'utiliser des déclencheurs dans MySQL pour capturer des modifications et pousser les modifications à Kafka grâce à des programmes externes. Cette méthode semble simple, mais elle a des inconvénients évidents dans une utilisation réelle:

• Les frais généraux de performance de déclenchement sont élevés, en particulier dans les scénarios de concurrence élevés
• Il n'y a pas de mécanisme de réessayer pour le traitement de la défaillance et les données sont facilement perdues
• Entretien complexe et débogage difficile

Donc, à moins que votre scénario d'entreprise ne soit très simple et que le volume de données ne soit pas important, cette méthode n'est pas recommandée.

Si vous voulez vraiment l'essayer, l'approche générale est:

• Créez un déclencheur après insert / mise à jour / supprimer sur une table MySQL
• Le déclencheur appelle UDF ou appelle un script externe (par exemple, via la demande HTTP)
• Le script est responsable de l'envoi des modifications à Kafka

Mais encore une fois, c'est juste "peut le faire", pas "recommandé de le faire".

Le service de synchronisation des données est également une option

En plus de créer des solutions open source comme DeBezium par vous-même, vous pouvez également considérer les services de synchronisation des données fournis par certains fabricants de cloud. Par exemple, Alibaba Cloud DTS, AWS DMS, Google Cloud Datastream, etc., ils prennent tous en charge la synchronisation en temps réel de MySQL à Kafka ou via Kafka au milieu.

Les avantages de ces services sont:

• Pas besoin de maintenir vous-même des composants complexes (comme Kafka Connect, Zookeeper, etc.)
• Fournit une configuration d'interface graphique et la surveillance est plus pratique
• Prise en charge des fonctions au niveau de l'entreprise telles que la transmission continue et l'erreur de réessayer

Bien sûr, le coût est qu'il peut être plus élevé ou s'appuyer sur une plate-forme spécifique.

Fondamentalement, ce sont les moyens. Vous pouvez choisir le bon plan en fonction de vos capacités de fonctionnement et de maintenance, la taille des données et le budget. Parmi eux, DeBezium est le plus rentable et convient à la plupart des équipes de petite et moyenne taille.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!