Tutorial SpringBoot: Introducción e instalación de Apache Kafka

Qué es Apache Kafka y qué ventajas aporta en aplicaciones Spring Boot

Apache Kafka es una plataforma de streaming de eventos de código abierto diseñada para manejar flujos de datos en tiempo real con gran volumen y alta velocidad. Originalmente desarrollada por LinkedIn y posteriormente donada a la Apache Software Foundation, Kafka se ha convertido en un estándar para la mensajería asíncrona y el procesamiento de eventos en sistemas distribuidos.

Kafka se basa en un modelo pub-sub (publicación-suscripción) donde los productores envían mensajes a tópicos y los consumidores se suscriben a dichos tópicos para recibir los mensajes. Esta arquitectura permite desacoplar los componentes de una aplicación, facilitando la escalabilidad y la resiliencia.

Integrar Apache Kafka en aplicaciones Spring Boot ofrece múltiples ventajas:

• Escalabilidad horizontal: Kafka está diseñado para manejar millones de mensajes por segundo, permitiendo que las aplicaciones Spring Boot procesen grandes volúmenes de datos sin degradación del rendimiento.
• Alta disponibilidad: Gracias a su arquitectura distribuida y a la replicación de datos, Kafka proporciona tolerancia a fallos, asegurando la continuidad del servicio en caso de caídas de nodos.
• Desacoplamiento de servicios: Mediante el uso de mensajería asíncrona, los componentes de la aplicación pueden operar independientemente, mejorando la modularidad y facilitando el mantenimiento.
• Procesamiento en tiempo real: Kafka permite el procesamiento y análisis de datos en tiempo real, lo cual es esencial para aplicaciones que requieren respuestas instantáneas ante eventos.
• Eco en el ecosistema spring: Spring Boot ofrece soporte nativo para Kafka a través del proyecto Spring for Apache Kafka, que provee módulos y configuraciones predeterminadas que simplifican la integración.

Algunas de las características clave que Spring Boot aporta al trabajar con Kafka incluyen:

• Configuración simplificada: Gracias al uso de Spring Boot Auto Configuration, se reducen las configuraciones manuales, permitiendo una puesta en marcha más rápida.
• Integración con spring: La compatibilidad con otros módulos de Spring facilita la implementación de soluciones completas y cohesivas.
• Manejo de errores y retries: Spring for Apache Kafka proporciona mecanismos para gestionar errores en el consumo de mensajes y reintentos automáticos.
• Seguridad: Integración con protocolos de seguridad como SSL y SASL para asegurar las comunicaciones con el cluster de Kafka.

Es importante mencionar que, a partir de Spring Boot 3, se han incorporado mejoras significativas en la integración con Kafka, optimizando el rendimiento y la facilidad de uso. Además, se mantiene el apoyo a las últimas versiones de Kafka, asegurando compatibilidad y acceso a las nuevas funcionalidades.

En resumen, utilizar Apache Kafka en aplicaciones Spring Boot permite construir sistemas altamente escalables, confiables y preparados para manejar grandes volúmenes de datos en tiempo real, aprovechando la simplicidad y potencia que ofrece el ecosistema Spring.

Arquitectura y componentes clave de Kafka con KRaft

Apache Kafka es una plataforma de streaming distribuida que permite la publicación y suscripción a flujos de registros en tiempo real. Con la introducción de KRaft, una implementación nativa del protocolo de consenso Raft en Kafka, se ha eliminado la dependencia de ZooKeeper, simplificando la arquitectura y mejorando la escalabilidad y confiabilidad del sistema.

En la arquitectura con KRaft, cada broker de Kafka es capaz de mantener el estado del clúster sin necesidad de un servicio externo. Los brokers actúan como nodos en un clúster distribuido, coordinándose mediante el protocolo Raft para mantener la consistencia de los datos y la información de metadatos.

Los componentes clave en esta arquitectura son:

• Brokers: Son los servidores que conforman el clúster de Kafka. Cada broker almacena uno o más partitions de diferentes tópicos y gestiona las solicitudes de producers y consumers.
• Producers: Aplicaciones o servicios que publican mensajes a los tópicos de Kafka. Los producers envían datos de forma asíncrona, permitiendo sistemas desacoplados y escalables.
• Consumers: Aplicaciones o servicios que se suscriben a uno o más tópicos para consumir los mensajes publicados. Los consumers pueden pertenecer a diferentes grupos de consumidores, lo que permite escalar el procesamiento de mensajes en paralelo.
• Topics: Son categorías o canales a los que se envían los mensajes. Un tópico está particionado en múltiples partitions para mejorar la escalabilidad y paralelismo.
• Partitions: Subdivisiones de un tópico que permiten distribuir los datos y la carga de trabajo entre múltiples brokers. Cada partition es una secuencia ordenada e inmutable de registros.
• Controller Quorum: Con KRaft, se introduce el concepto de Controller Quorum, un conjunto de brokers designados para gestionar el estado del clúster y coordinar las operaciones administrativas. Estos brokers utilizan Raft para lograr consenso y mantener la consistencia de los metadatos.

El protocolo Raft es fundamental en esta arquitectura, ya que proporciona un método eficiente y fiable para el consenso distribuido. Cada broker en el Controller Quorum puede ser un líder o un seguidor. El líder es responsable de procesar las solicitudes de cambios en el estado, mientras que los seguidores replican el estado y aseguran la tolerancia a fallos.

Una de las ventajas de adoptar KRaft es la reducción de la complejidad operativa al eliminar ZooKeeper. Esto simplifica la configuración y el despliegue del clúster, facilitando su administración. Además, KRaft mejora la latencia y el rendimiento al optimizar la comunicación entre brokers y reducir la sobrecarga de red.

Levantar Kafka broker y Kafka Control Center con Docker Compose usando confluentinc/cp-kafka:7.7.1

Comando a ejecutar:

docker pull confluentinc/cp-kafka:7.7.1
docker pull confluentinc/cp-enterprise-control-center:7.7.1

Al ejecutar el comando decargará la imagen docker de Kafka:

Crear un archivo docker-compose.yml con Kafka broker y Kafka Control Center:

version: '3.8'
services:

  broker:
    image: confluentinc/cp-kafka:7.7.1
    hostname: broker
    container_name: broker
    ports:
      - "9092:9092"
      - "9101:9101"
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker:29092,PLAINTEXT_HOST://localhost:9092'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_JMX_PORT: 9101
      KAFKA_JMX_HOSTNAME: localhost
      KAFKA_PROCESS_ROLES: 'broker,controller'
      KAFKA_CONTROLLER_QUORUM_VOTERS: '1@broker:29093'
      KAFKA_LISTENERS: 'PLAINTEXT://broker:29092,CONTROLLER://broker:29093,PLAINTEXT_HOST://0.0.0.0:9092'
      KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
      KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
      KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'
      # Replace CLUSTER_ID with a unique base64 UUID using "bin/kafka-storage.sh random-uuid" 
      # See https://docs.confluent.io/kafka/operations-tools/kafka-tools.html#kafka-storage-sh
      CLUSTER_ID: 'MkU3OEVBNTcwNTJENDM2Qk'
    volumes:
      - kafka-data:/var/lib/kafka/data

  control-center:
    image: confluentinc/cp-enterprise-control-center:7.7.1
    hostname: control-center
    container_name: control-center
    depends_on:
      - broker
    ports:
      - "9021:9021"
    environment:
      CONTROL_CENTER_BOOTSTRAP_SERVERS: 'broker:29092'
      CONTROL_CENTER_REPLICATION_FACTOR: 1
      CONTROL_CENTER_INTERNAL_TOPICS_PARTITIONS: 1
      CONTROL_CENTER_MONITORING_INTERCEPTOR_TOPIC_PARTITIONS: 1
      CONFLUENT_METRICS_TOPIC_REPLICATION: 1
      PORT: 9021

volumes:
  kafka-data:

Este docker-compose ha sido modificado para quitar servicios extra que no necesitamos.

El original se encuentra aquí: https://github.com/confluentinc/cp-all-in-one/blob/7.5.0-post/cp-all-in-one-kraft/docker-compose.yml

Ejecutar el comando docker-compose up -d, como resultado deberíamos ver Kafka y Control Center iniciado por consola, ejecutar docker ps:

Una vez iniciado Kafka, abrimos el Control Center entrando por navegador a la URL: http://localhost:9021/clusters

Ejemplo:

Desde aquí ya podemos entrar en el clúster y empezar a crear topics y enviar mensajes: