Tech • IA • Robotique • Jeu
Les 4 termes clés d’Apache Kafka
5/10INTRO
Apache Kafka s’articule autour de quatre termes fondamentaux: brokers, producers, topics et consumers. Ensemble, ils définissent comment les données d’événements sont stockées et circulent au sein d’un cluster Kafka.
POINTS CLÉS
Kafka comme cluster de brokers
Apache Kafka fonctionne comme un service en cluster composé de plusieurs serveurs interconnectés, et non d’une seule machine. Chaque serveur de ce cluster est appelé broker et apporte au système des ressources de calcul, mémoire et stockage. Un broker ne rejoint le cluster qu’après avoir été explicitement ajouté via des processus de gestion du cluster.
Les brokers sont la base du stockage et de la disponibilité
Un broker est l’unité d’infrastructure centrale de Kafka et fournit la base physique sur laquelle les données sont stockées et servies. Comme les topics Kafka reposent sur le stockage des brokers, un topic ne peut pas exister indépendamment d’eux. Les déploiements Kafka peuvent s’exécuter sur des environnements comme des instances EC2 ou Kubernetes, tant que le service Kafka fonctionne sur ces serveurs.
Les producers envoient des événements dans Kafka
Les applications qui écrivent des données dans Kafka sont appelées producers. Un producer génère un événement et l’envoie à Kafka dans un format choisi, notamment JSON ou Protocol Buffers. Si des enregistrements attendus manquent dans un topic, la responsabilité revient généralement d’abord à l’application productrice, puisqu’elle contrôle la publication des nouveaux événements.
Les topics organisent les événements de façon logique
Un topic est la structure logique que Kafka utilise pour regrouper les événements liés entre eux. Par exemple, un topic orders peut rassembler au même endroit tous les messages d’une application liés aux commandes. Les topics ne sont pas de simples étiquettes: ils constituent le mécanisme par lequel Kafka organise les flux d’événements entrants pour leur utilisation en aval.
Les topics peuvent s’étendre sur plusieurs brokers
Les topics Kafka ne sont pas limités à une seule machine et peuvent s’étendre sur plusieurs brokers. Cette conception prend en charge des capacités comme la réplication, permettant à Kafka de répartir les données pour la résilience et la disponibilité. La répartition d’un topic entre plusieurs brokers est l’une des raisons pour lesquelles Kafka convient aux systèmes de streaming d’événements évolutifs.
La création de topics nécessite une configuration volontaire
Les topics d’application ne sont généralement pas créés automatiquement et doivent être provisionnés intentionnellement. Kafka crée bien certains topics internes par défaut pour son propre fonctionnement, mais ils sont réservés à l’usage de la plateforme et ne doivent pas être réutilisés par les applications. Une définition claire des topics et de leur nommage fait donc partie de l’administration de base de Kafka.
Les consumers lisent et traitent les données des topics
Les applications qui lisent depuis Kafka sont appelées consumers. Un consumer récupère les événements d’un topic, les traite, puis déclenche l’action requise par l’application. Dans un flux métier, un consumer peut alimenter les paiements, tandis qu’un autre prend en charge indépendamment la détection de fraude à partir du même flux d’événements de commande.
Plusieurs consumers peuvent utiliser le même topic
Kafka permet à n’importe quel nombre de consumers de se connecter à un topic et de traiter le même flux sous-jacent à des fins différentes. Cela permet à un même flux d’événements de servir plusieurs systèmes sans obliger le producer à envoyer séparément les données à chaque application en aval. Ce modèle est central dans le rôle de Kafka comme plateforme de distribution d’événements.
CONCLUSION
Comprendre les brokers, producers, topics et consumers est essentiel pour comprendre le fonctionnement d’Apache Kafka. Ensemble, ils définissent l’infrastructure, le flux de données, le modèle de stockage et les applications qui agissent sur les événements diffusés en continu.
Poser une question