SpringBoot
Tutorial SpringBoot: Introducción e instalación de Apache Kafka
Aprende a configurar broker, productores y consumidores en Apache Kafka en Spring Boot en application.properties para mensajería asíncrona con el middleware Apache Kafka.
Aprende SpringBoot GRATIS y certifícateQué es Apache Kafka y qué ventajas aporta en aplicaciones Spring Boot
Apache Kafka es una plataforma de streaming de eventos de código abierto diseñada para manejar flujos de datos en tiempo real con gran volumen y alta velocidad. Originalmente desarrollada por LinkedIn y posteriormente donada a la Apache Software Foundation, Kafka se ha convertido en un estándar para la mensajería asíncrona y el procesamiento de eventos en sistemas distribuidos.
Kafka se basa en un modelo pub-sub (publicación-suscripción) donde los productores envían mensajes a tópicos y los consumidores se suscriben a dichos tópicos para recibir los mensajes. Esta arquitectura permite desacoplar los componentes de una aplicación, facilitando la escalabilidad y la resiliencia.
Integrar Apache Kafka en aplicaciones Spring Boot ofrece múltiples ventajas:
- Escalabilidad horizontal: Kafka está diseñado para manejar millones de mensajes por segundo, permitiendo que las aplicaciones Spring Boot procesen grandes volúmenes de datos sin degradación del rendimiento.
- Alta disponibilidad: Gracias a su arquitectura distribuida y a la replicación de datos, Kafka proporciona tolerancia a fallos, asegurando la continuidad del servicio en caso de caídas de nodos.
- Desacoplamiento de servicios: Mediante el uso de mensajería asíncrona, los componentes de la aplicación pueden operar independientemente, mejorando la modularidad y facilitando el mantenimiento.
- Procesamiento en tiempo real: Kafka permite el procesamiento y análisis de datos en tiempo real, lo cual es esencial para aplicaciones que requieren respuestas instantáneas ante eventos.
- Eco en el ecosistema spring: Spring Boot ofrece soporte nativo para Kafka a través del proyecto Spring for Apache Kafka, que provee módulos y configuraciones predeterminadas que simplifican la integración.
Algunas de las características clave que Spring Boot aporta al trabajar con Kafka incluyen:
- Configuración simplificada: Gracias al uso de Spring Boot Auto Configuration, se reducen las configuraciones manuales, permitiendo una puesta en marcha más rápida.
- Integración con spring: La compatibilidad con otros módulos de Spring facilita la implementación de soluciones completas y cohesivas.
- Manejo de errores y retries: Spring for Apache Kafka proporciona mecanismos para gestionar errores en el consumo de mensajes y reintentos automáticos.
- Seguridad: Integración con protocolos de seguridad como SSL y SASL para asegurar las comunicaciones con el cluster de Kafka.
Es importante mencionar que, a partir de Spring Boot 3, se han incorporado mejoras significativas en la integración con Kafka, optimizando el rendimiento y la facilidad de uso. Además, se mantiene el apoyo a las últimas versiones de Kafka, asegurando compatibilidad y acceso a las nuevas funcionalidades.
En resumen, utilizar Apache Kafka en aplicaciones Spring Boot permite construir sistemas altamente escalables, confiables y preparados para manejar grandes volúmenes de datos en tiempo real, aprovechando la simplicidad y potencia que ofrece el ecosistema Spring.
Arquitectura y componentes clave de Kafka con KRaft
Apache Kafka es una plataforma de streaming distribuida que permite la publicación y suscripción a flujos de registros en tiempo real. Con la introducción de KRaft, una implementación nativa del protocolo de consenso Raft en Kafka, se ha eliminado la dependencia de ZooKeeper, simplificando la arquitectura y mejorando la escalabilidad y confiabilidad del sistema.
En la arquitectura con KRaft, cada broker de Kafka es capaz de mantener el estado del clúster sin necesidad de un servicio externo. Los brokers actúan como nodos en un clúster distribuido, coordinándose mediante el protocolo Raft para mantener la consistencia de los datos y la información de metadatos.
Los componentes clave en esta arquitectura son:
- Brokers: Son los servidores que conforman el clúster de Kafka. Cada broker almacena uno o más partitions de diferentes tópicos y gestiona las solicitudes de producers y consumers.
- Producers: Aplicaciones o servicios que publican mensajes a los tópicos de Kafka. Los producers envían datos de forma asíncrona, permitiendo sistemas desacoplados y escalables.
- Consumers: Aplicaciones o servicios que se suscriben a uno o más tópicos para consumir los mensajes publicados. Los consumers pueden pertenecer a diferentes grupos de consumidores, lo que permite escalar el procesamiento de mensajes en paralelo.
- Topics: Son categorías o canales a los que se envían los mensajes. Un tópico está particionado en múltiples partitions para mejorar la escalabilidad y paralelismo.
- Partitions: Subdivisiones de un tópico que permiten distribuir los datos y la carga de trabajo entre múltiples brokers. Cada partition es una secuencia ordenada e inmutable de registros.
- Controller Quorum: Con KRaft, se introduce el concepto de Controller Quorum, un conjunto de brokers designados para gestionar el estado del clúster y coordinar las operaciones administrativas. Estos brokers utilizan Raft para lograr consenso y mantener la consistencia de los metadatos.
El protocolo Raft es fundamental en esta arquitectura, ya que proporciona un método eficiente y fiable para el consenso distribuido. Cada broker en el Controller Quorum puede ser un líder o un seguidor. El líder es responsable de procesar las solicitudes de cambios en el estado, mientras que los seguidores replican el estado y aseguran la tolerancia a fallos.
Una de las ventajas de adoptar KRaft es la reducción de la complejidad operativa al eliminar ZooKeeper. Esto simplifica la configuración y el despliegue del clúster, facilitando su administración. Además, KRaft mejora la latencia y el rendimiento al optimizar la comunicación entre brokers y reducir la sobrecarga de red.
Levantar Kafka broker y Kafka Control Center con Docker Compose usando confluentinc/cp-kafka:7.7.1
Comando a ejecutar:
docker pull confluentinc/cp-kafka:7.7.1
docker pull confluentinc/cp-enterprise-control-center:7.7.1
Al ejecutar el comando decargará la imagen docker de Kafka:
Crear un archivo docker-compose.yml con Kafka broker y Kafka Control Center:
version: '3.8'
services:
broker:
image: confluentinc/cp-kafka:7.7.1
hostname: broker
container_name: broker
ports:
- "9092:9092"
- "9101:9101"
environment:
KAFKA_NODE_ID: 1
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: 'CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT'
KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker:29092,PLAINTEXT_HOST://localhost:9092'
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
KAFKA_JMX_PORT: 9101
KAFKA_JMX_HOSTNAME: localhost
KAFKA_PROCESS_ROLES: 'broker,controller'
KAFKA_CONTROLLER_QUORUM_VOTERS: '1@broker:29093'
KAFKA_LISTENERS: 'PLAINTEXT://broker:29092,CONTROLLER://broker:29093,PLAINTEXT_HOST://0.0.0.0:9092'
KAFKA_INTER_BROKER_LISTENER_NAME: 'PLAINTEXT'
KAFKA_CONTROLLER_LISTENER_NAMES: 'CONTROLLER'
KAFKA_LOG_DIRS: '/tmp/kraft-combined-logs'
# Replace CLUSTER_ID with a unique base64 UUID using "bin/kafka-storage.sh random-uuid"
# See https://docs.confluent.io/kafka/operations-tools/kafka-tools.html#kafka-storage-sh
CLUSTER_ID: 'MkU3OEVBNTcwNTJENDM2Qk'
volumes:
- kafka-data:/var/lib/kafka/data
control-center:
image: confluentinc/cp-enterprise-control-center:7.7.1
hostname: control-center
container_name: control-center
depends_on:
- broker
ports:
- "9021:9021"
environment:
CONTROL_CENTER_BOOTSTRAP_SERVERS: 'broker:29092'
CONTROL_CENTER_REPLICATION_FACTOR: 1
CONTROL_CENTER_INTERNAL_TOPICS_PARTITIONS: 1
CONTROL_CENTER_MONITORING_INTERCEPTOR_TOPIC_PARTITIONS: 1
CONFLUENT_METRICS_TOPIC_REPLICATION: 1
PORT: 9021
volumes:
kafka-data:
Este docker-compose ha sido modificado para quitar servicios extra que no necesitamos.
El original se encuentra aquí: https://github.com/confluentinc/cp-all-in-one/blob/7.5.0-post/cp-all-in-one-kraft/docker-compose.yml
Ejecutar el comando docker-compose up -d
, como resultado deberíamos ver Kafka y Control Center iniciado por consola, ejecutar docker ps
:
Una vez iniciado Kafka, abrimos el Control Center entrando por navegador a la URL: http://localhost:9021/clusters
Ejemplo:
Desde aquí ya podemos entrar en el clúster y empezar a crear topics y enviar mensajes:
Ejercicios de esta lección Introducción e instalación de Apache Kafka
Evalúa tus conocimientos de esta lección Introducción e instalación de Apache Kafka con nuestros retos de programación de tipo Test, Puzzle, Código y Proyecto con VSCode, guiados por IA.
API Query By Example (QBE)
Identificadores y relaciones JPA
Borrar datos de base de datos
Web y Test Starters
Métodos find en repositorios
Controladores Spring MVC
Inserción de datos
CRUD Customers Spring MVC + Spring Data JPA
Backend API REST con Spring Boot
Controladores Spring REST
Uso de Spring con Thymeleaf
API Specification
Registro de usuarios
Crear entidades JPA
Asociaciones en JPA
Asociaciones de entidades JPA
Integración con Vue
Consultas JPQL
Open API y cómo agregarlo en Spring Boot
Uso de Controladores REST
Repositorios reactivos
Inyección de dependencias
Introducción a Spring Boot
CRUD y JPA Repository
Inyección de dependencias
Vista en Spring MVC con Thymeleaf
Servicios en Spring
Operadores Reactivos
Configuración de Vue
Entidades JPA
Integración con Angular
API Specification
API Query By Example (QBE)
Controladores MVC
Anotaciones y mapeo en JPA
Consultas JPQL con @Query en Spring Data JPA
Repositorios Spring Data
Inyección de dependencias
Data JPA y Mail Starters
Configuración de Angular
Controladores Spring REST
Configuración de Controladores MVC
Consultas JPQL con @Query en Spring Data JPA
Actualizar datos de base de datos
Verificar token JWT en peticiones
Login de usuarios
Integración con React
Configuración de React
Todas las lecciones de SpringBoot
Accede a todas las lecciones de SpringBoot y aprende con ejemplos prácticos de código y ejercicios de programación con IDE web sin instalar nada.
Introducción A Spring Boot
Introducción Y Entorno
Spring Boot Starters
Introducción Y Entorno
Inyección De Dependencias
Introducción Y Entorno
Controladores Spring Mvc
Spring Web
Vista En Spring Mvc Con Thymeleaf
Spring Web
Controladores Spring Rest
Spring Web
Open Api Y Cómo Agregarlo En Spring Boot
Spring Web
Servicios En Spring
Spring Web
Clientes Resttemplate Y Restclient
Spring Web
Rxjava En Spring Web
Spring Web
Crear Entidades Jpa
Persistencia Spring Data
Asociaciones De Entidades Jpa
Persistencia Spring Data
Repositorios Spring Data
Persistencia Spring Data
Métodos Find En Repositorios
Persistencia Spring Data
Inserción De Datos
Persistencia Spring Data
Actualizar Datos De Base De Datos
Persistencia Spring Data
Borrar Datos De Base De Datos
Persistencia Spring Data
Consultas Jpql Con @Query En Spring Data Jpa
Persistencia Spring Data
Api Query By Example (Qbe)
Persistencia Spring Data
Api Specification
Persistencia Spring Data
Repositorios Reactivos
Persistencia Spring Data
Introducción E Instalación De Apache Kafka
Mensajería Asíncrona
Crear Proyecto Con Apache Kafka
Mensajería Asíncrona
Creación De Producers
Mensajería Asíncrona
Creación De Consumers
Mensajería Asíncrona
Kafka Streams En Spring Boot
Mensajería Asíncrona
Introducción A Spring Webflux
Reactividad Webflux
Spring Data R2dbc
Reactividad Webflux
Controlador Rest Reactivo Basado En Anotaciones
Reactividad Webflux
Controlador Rest Reactivo Funcional
Reactividad Webflux
Operadores Reactivos Básicos
Reactividad Webflux
Operadores Reactivos Avanzados
Reactividad Webflux
Cliente Reactivo Webclient
Reactividad Webflux
Introducción A Spring Security
Seguridad Con Spring Security
Seguridad Basada En Formulario En Mvc Con Thymeleaf
Seguridad Con Spring Security
Registro De Usuarios
Seguridad Con Spring Security
Login De Usuarios
Seguridad Con Spring Security
Verificar Token Jwt En Peticiones
Seguridad Con Spring Security
Seguridad Jwt En Api Rest Spring Web
Seguridad Con Spring Security
Seguridad Jwt En Api Rest Reactiva Spring Webflux
Seguridad Con Spring Security
Autenticación Y Autorización Con Anotaciones
Seguridad Con Spring Security
Testing Unitario De Componentes Y Servicios
Testing Con Spring Test
Testing De Repositorios Spring Data Jpa
Testing Con Spring Test
Testing Controladores Spring Mvc Con Thymeleaf
Testing Con Spring Test
Testing Controladores Rest Con Json
Testing Con Spring Test
Testing De Aplicaciones Reactivas Webflux
Testing Con Spring Test
Testing De Seguridad Spring Security
Testing Con Spring Test
Testing Con Apache Kafka
Testing Con Spring Test
Integración Con Angular
Integración Frontend
Integración Con React
Integración Frontend
Integración Con Vue
Integración Frontend
En esta lección
Objetivos de aprendizaje de esta lección
- Conocer qué es Apache Kafka
- Instalar Apache Kafka con Docker Compose