Kafka para Administradores

Esenciales de la administración de Kafka

• Cómo se integra Kafka en una plataforma de datos moderna y las responsabilidades típicas en producción.
• Conceptos clave para operadores: brokers, temas (topics), particiones, desplazamientos (offsets) y grupos de consumidores.
• Fundamentos de la replicación: líderes y seguidores, réplicas sincronizadas (ISR) y compromisos de disponibilidad.
• Aspectos operativos destacados de Kafka y terminología común utilizada en los manuales de operación (runbooks).

Modo KRaft y diseño del clúster

• Conceptos básicos de KRaft: controladores, quórum de metadatos, elecciones y por qué es importante operativamente.
• Planificación del despliegue: dimensionamiento para rendimiento (throughput), particiones, retención y crecimiento.
• Roles de nodos y diseños: controladores combinados vs. dedicados, consideraciones de dominios de falla.
• Laboratorio: inspeccionar los metadatos de KRaft, validar la salud del quórum e interpretar los registros del controlador.

Instalación, configuración y operaciones diarias

• Enfoques de instalación (paquetes, archivos tar, contenedores) y qué estandarizar en entornos empresariales.
• Configuración central del broker que impacta la confiabilidad: listeners, replicación, directorios de registros y retención.
• Operaciones seguras del servicio: orden de inicio, apagado graceful (ordenado) y validación de verificaciones.
• Laboratorio: implementar un clúster multinodo, verificar el registro del broker y confirmar la producción y consumo básicos.

Gestión de temas, particiones y ubicación de datos

• Ciclo de vida de los temas utilizando la CLI de Kafka: crear, describir, actualizar configuraciones, eliminar.
• Elección del número de particiones y factores de replicación para cargas de trabajo reales, incluyendo anti-patrones comunes.
• Reasignaciones y equilibrio: cuándo mover particiones y cómo verificar el progreso de forma segura.
• Laboratorio: crear temas, desencadenar una reasignación de particiones, simular una caída del broker y confirmar la recuperación.

Seguridad de Kafka para producción

• TLS para tráfico de cliente e inter-broker: certificados, cadenas de confianza y pasos de validación.
• Autenticación con SASL: selección de mecanismos comunes y evitar configuraciones incorrectas.
• Autorización con ACLs: patrones de privilegio mínimo para administradores, productores y consumidores.
• Laboratorio: habilitar TLS y SASL, validar la conectividad del cliente y aplicar ACLs para roles de aplicaciones.

Observabilidad, confiabilidad y resolución de problemas

• Elementos esenciales de monitoreo: salud del controlador, particiones sub-replicadas, latencia de solicitudes y saturación de disco y red.
• Registros y métricas: lectura de registros del broker y exposición de métricas a través del exportador JMX a stacks de observabilidad comunes.
• Manuales de operación (playbooks): reinicios progresivos, cambios seguros en la configuración, manejo de discos llenos y problemas con ISR.
• Laboratorio: construir un conjunto mínimo de alertas, diagnosticar un clúster degradado y restaurar una replicación saludable.

Actualizaciones y preparación para recuperación ante desastres

• Planificación de actualizaciones para Kafka: comprobaciones de compatibilidad, etapas piloto y enfoque de reversión (rollback).
• Expectativas de copias de seguridad y recuperación: qué se puede respaldar, qué no y conceptos básicos de recuperación de configuraciones.
• Descripción general de la replicación entre clústeres y cuándo utilizar MirrorMaker 2 para DR (recuperación ante desastres) y migraciones.
• Cierre: lista de verificación operativa, artefactos de traspaso y próximos pasos para el lanzamiento en producción.