Apache Kafka 101 com Java (Spring Boot) para iniciantes

Sistema de mensagens: RabbitMQ vs Apache Kafka, Tópicos, Produtor-Corretor-Consumidor, Partições, Transações, Manipulador de erros

Visão geral do curso

Neste curso, você aprenderá os fundamentos do Apache Kafka e como usá-lo com Java e Spring Boot. Exploraremos o sistema de mensagens, comparando RabbitMQ e Apache Kafka, e abordaremos tópicos como Produtor-Corretor-Consumidor, Partições, Transações e Manipulador de erros.

O que é o Kafka?

O Kafka é um poderoso sistema de mensagens Publish/Subscribe que permite que os produtores escrevam registros no Kafka, que podem ser lidos por um ou mais consumidores. Uma vez que os registros são enviados para o Kafka, eles não podem ser excluídos ou modificados. Os produtores são responsáveis por criar mensagens e enviá-las para tópicos. Eles podem atribuir partições ao publicar dados, implementando um sistema round-robin ou de prioridade com base na prioridade do registro.

Cluster e Corretor do Kafka

O Kafka usa um sistema de cluster distribuído, onde um cluster é um grupo de computadores que trabalham juntos para um propósito comum. Cada computador no cluster executa uma instância do corretor do Kafka, que atua como um corretor de mensagens entre produtores e consumidores. Os tópicos estão associados a cada corretor, e os registros são publicados nesses tópicos. Cada registro em um tópico é armazenado com uma chave, valor e timestamp.

Tópicos e Partições

Os clusters do Kafka usam um log particionado para cada tópico. Os produtores podem escolher a partição para a qual um registro será enviado, ou o Kafka pode escolhê-la automaticamente. As partições mantêm a ordem de inserção de dados e retêm registros com base em um período de retenção configurável. Cada registro dentro de uma partição é identificado de forma única por um deslocamento. Os consumidores consomem registros de tópicos e, dentro de um grupo de consumidores, cada consumidor processa registros em paralelo.

Grupos de Consumidores e ZooKeeper

Os consumidores podem ser organizados em grupos de consumidores lógicos, onde vários consumidores compartilham a carga de trabalho. O Kafka usa o ZooKeeper para armazenar metadados e manter a coordenação entre diferentes nós em um cluster. O ZooKeeper periodicamente confirma deslocamentos, permitindo que o Kafka retome do deslocamento previamente confirmado em caso de falha do nó. O ZooKeeper também serve para outros propósitos, como detecção de líder, gerenciamento de configuração e sincronização.

Vantagens e Desvantagens do Kafka

O Kafka oferece escalabilidade, com a capacidade de lidar com grandes volumes de mensagens mesmo em um único servidor. Ele fornece resistência a falhas de nós/máquinas e oferece alta durabilidade por meio da replicação. O Kafka atua como um armazenamento de mensagens durável, permitindo que os clientes reproduzam fluxos de eventos sob demanda. No entanto, o Kafka pode ser complexo de configurar e carece de um conjunto completo de ferramentas de monitoramento e gerenciamento. Ele também depende do Apache ZooKeeper, embora futuras versões visem remover essa dependência.

O que você aprenderá

- A diferença entre consumidores e produtores - Como usar o sistema de mensagens Apache Kafka com o Spring Boot - Implementação de tratamento de erros no Apache Kafka - Trabalhando com transações no Apache Kafka