Analyse du principe de fonctionnement et du cadre du système de Kafka

Comment fonctionne Kafka

Kafka est un système de messagerie distribué de publication-abonnement qui vous permet de transmettre de manière fiable des données entre producteurs et consommateurs. Il présente un débit élevé, une faible latence et une tolérance aux pannes.

Kafka se compose des composants suivants :

• Producteurs :Les producteurs sont des applications ou des services qui envoient des données au cluster Kafka.
• Consommateur :Un consommateur est une application ou un service qui reçoit des données d'un cluster Kafka.
• Sujet :Un sujet est un regroupement logique de données stockées dans un cluster Kafka.
• Partition :Une partition est l'unité de stockage physique d'un thème.
• Réplique :Une réplique est une sauvegarde des données d'une partition.

Lorsqu'un producteur envoie des données au cluster Kafka, les données sont écrites sur une ou plusieurs partitions. Chaque partition dispose de plusieurs copies pour garantir que les données ne soient pas perdues. Les consommateurs peuvent lire les données de n’importe quelle réplique.

Kafka utilise un mécanisme appelé « compensations » pour savoir où les consommateurs lisent les données. Le décalage est un entier qui représente la quantité de données lues dans la partition par le consommateur. Lorsqu'un consommateur lit des données, il stocke le décalage dans ZooKeeper.

Si le consommateur échoue, il peut redémarrer à partir du dernier décalage enregistré. Cela garantit que les consommateurs ne perdent aucune donnée.

Architecture système de Kafka

L'architecture système de Kafka est un système distribué composé de plusieurs nœuds. Chaque nœud est un processus indépendant, qui peut s'exécuter sur différentes machines.

Les nœuds Kafka communiquent via le protocole TCP. Chaque nœud conserve une copie des métadonnées, qui contient des informations de métadonnées pour toutes les rubriques et partitions.

Lorsqu'un producteur envoie des données au cluster Kafka, il envoie d'abord une requête au nœud de métadonnées pour obtenir des informations sur la partition à écrire. Le producteur écrira ensuite les données directement sur cette partition.

Lorsqu'un consommateur lit les données d'un cluster Kafka, il envoie d'abord une requête au nœud de métadonnées pour obtenir des informations sur la partition à lire. Le consommateur lit ensuite les données directement à partir de cette partition.

Exemple de code pour Kafka

Voici un exemple de code simple utilisant Kafka :

// 创建一个生产者 Producer producer = new KafkaProducer(properties); // 创建一个主题 String topic = "my-topic"; // 创建一个消息 ProducerRecord record = new ProducerRecord<>(topic, "hello, world"); // 发送消息 producer.send(record); // 创建一个消费者 Consumer consumer = new KafkaConsumer(properties); // 订阅主题 consumer.subscribe(Arrays.asList(topic)); // 轮询消息 while (true) { ConsumerRecords records = consumer.poll(100); for (ConsumerRecord record : records) { System.out.println(record.value()); } }

Cet exemple de code montre comment envoyer et recevoir des messages à l'aide de Kafka. Vous pouvez utiliser cet exemple de code comme base pour créer vos propres applications Kafka.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!