Una introducción práctica al procesamiento de flujo
El procesamiento de flujo se refiere al procesamiento en tiempo real de "datos en movimiento", es decir, realizar cálculos sobre datos a medida que se reciben. Dichos datos se leen como flujos continuos de fuentes de datos tales como eventos de sensores, actividad de usuarios de sitios web, transacciones financieras, transferencias de tarjetas de crédito, transmisiones de clics, etc. Los marcos de procesamiento de flujos pueden leer grandes volúmenes de datos entrantes y proporcionar información valiosa casi instantáneamente.
En este entrenamiento en vivo dirigido por un instructor (in situ o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos de Procesamiento de Stream con los sistemas de almacenamiento de big data existentes y aplicaciones de software y microservicios relacionados.
Al final de esta capacitación, los participantes podrán:
- Instale y configure diferentes marcos de procesamiento de flujo, como Spark Streaming y Kafka Streaming
- Comprender y seleccionar el marco más adecuado para el trabajo
- Proceso de datos de forma continua, concurrente y de forma récord por registro
- Integre soluciones de procesamiento de flujo con bases de datos existentes, almacenes de datos, lagos de datos, etc.
- Integración de la biblioteca de procesamiento de flujo más apropiada con aplicaciones empresariales y microservicios
Audiencia
- Desarrolladores
- Arquitectos de software
Formato del curso
- Conferencia de parte, discusión en parte, ejercicios y práctica práctica
Notas
- Para solicitar una capacitación personalizada para este curso, contáctenos para hacer arreglos.
Temario del curso
Introducción
Procesamiento de flujo vs procesamiento por lotes
Procesamiento de flujo enfocado en Analytics
Marcos generales y lenguajes de programación
Spark Streaming (Scala)
Kafka Streaming (Java)
Flink
Tormenta
Comparación de características y fortalezas de cada marco
Descripción general de las fuentes de datos
Datos en vivo como una serie de eventos en el tiempo
Fuentes de datos históricos
Opciones de implementación
En la nube (AWS, etc.)
Local (nube privada, etc.)
Configuración del entorno de desarrollo
Instalando y Configurando
Evaluar sus necesidades de análisis de datos
Integración de Streaming Framework con Big Data Tools
Transformando los datos de entrada
Inspección de los datos de salida
Integración del marco de procesamiento de flujo con aplicaciones existentes y microservicios
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia de programación en cualquier idioma
- Una comprensión de los conceptos de Big Data (Hadoop, etc.)
Los cursos públicos requieren más de 5 participantes.
Una introducción práctica al procesamiento de flujo - Reserva
Una introducción práctica al procesamiento de flujo - Consulta
Una introducción práctica al procesamiento de flujo - Solicitud de consultoría
Testimonios (1)
Suficiente práctica, el instructor es conocedor
Chris Tan
Curso - A Practical Introduction to Stream Processing
Traducción Automática
Próximos cursos
Cursos Relacionados
Administración de Confluent Apache Kafka
21 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida diseñada para tuberías de datos de alta capacidad y análisis en tiempo real tolerantes a fallos.
Este entrenamiento dirigido por un instructor (en línea o presencial) está destinado a administradores de sistemas de nivel intermedio y profesionales DevOps que desean instalar, configurar, monitorear y solucionar problemas en clusters de Confluent Apache Kafka.
Al finalizar este entrenamiento, los participantes podrán:
- Comprender los componentes y la arquitectura de Confluent Kafka.
- Implementar y administrar brokers Kafka, cuórum Zookeeper y servicios clave.
- Configurar características avanzadas que incluyen seguridad, replicación y ajuste de rendimiento.
- Utilizar herramientas de gestión para monitorear y mantener clusters Kafka.
Formato del Curso
- Charla interactiva y discusión.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.
Apache Kafka Connect
7 HorasEste curso dirigido por un instructor y en vivo en Guatemala (en línea o presencial) está destinado a desarrolladores que desean integrar Apache Kafka con bases de datos y aplicaciones existentes para procesamiento, análisis, etc.
Al finalizar este curso, los participantes serán capaces de:
- Utilizar Kafka Connect para ingerir grandes cantidades de datos desde una base de datos a temas de Kafka.
- Ingresar datos de registro generados por servidores de aplicaciones en temas de Kafka.
- Hacer cualquier dato recopilado disponible para el procesamiento de flujos.
- Exportar datos desde temas de Kafka a sistemas secundarios para almacenamiento y análisis.
Confluent Apache Kafka: Operaciones y Configuración del Clúster
16 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida y de nivel empresarial construida sobre Apache Kafka. Apoya pipelines de datos con alta capacidad de transferencia, tolerancia a fallos y aplicaciones de streaming en tiempo real.
Este entrenamiento dirigido por instructores (en línea o presencial) está destinado a ingenieros y administradores de nivel intermedio que desean implementar, configurar y optimizar clústeres Confluent Kafka en entornos de producción.
Al final de este entrenamiento, los participantes serán capaces de:
- Instalar, configurar y operar clústeres Confluent Kafka con múltiples brokers.
- Diseñar configuraciones de alta disponibilidad utilizando Zookeeper y técnicas de replicación.
- Ajustar el rendimiento, monitorear métricas y aplicar estrategias de recuperación.
- Seguridad, escalado e integración de Kafka con entornos empresariales.
Formato del Curso
- Charlas interactivas y discusiones.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para coordinar.
Building Kafka Solutions with Confluent
14 HorasEste curso dirigido por un instructor (en línea o presencial) está destinado a ingenieros que deseen utilizar Confluent (una distribución de Kafka) para construir y gestionar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones.
Al final de este curso, los participantes serán capaces de:
- Instalar y configurar la Plataforma Confluent.
- Utilizar las herramientas y servicios de gestión de Confluent para ejecutar Kafka de manera más sencilla.
- Almacenar y procesar datos de flujo entrantes.
- Optimizar y gestionar clústeres de Kafka.
- Seguridad de los flujos de datos.
Formato del Curso
- Lectura interactiva y discusión.
- Muchos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Este curso se basa en la versión de código abierto de Confluent: Confluent Open Source.
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para hacer los arreglos necesarios.
Construcción de Pipelines de Datos con Apache Kafka
7 HorasApache Kafka es una plataforma de streaming distribuida. Es de facto un estándar para construir pipelines de datos y resuelve muchos casos de uso diferentes en torno al procesamiento de datos: puede usarse como una cola de mensajes, un registro distribuido, un procesador de flujos, etc.
Comenzaremos con algunas teorías detrás de los pipelines de datos en general, luego continuaremos con los conceptos fundamentales detrás de Kafka. También descubriremos componentes importantes como Kafka Streams y Kafka Connect.
Mensajería Distribuida con Apache Kafka
14 HorasEste curso está dirigido a arquitectos empresariales, desarrolladores, administradores de sistemas y cualquier persona que desee comprender y utilizar un sistema de mensajería distribuida de alto rendimiento. Si tiene requisitos más específicos (por ejemplo, solo el lado de la administración de sistemas), este curso puede ser adaptado para satisfacer mejor sus necesidades.
Kafka para Administradores
21 HorasEste entrenamiento dirigido por un instructor en vivo en Guatemala (en línea o presencial) está orientado a administradores de sistemas y ingenieros de operaciones de nivel principiante/intermedio/avanzado que desean utilizar Apache Kafka para implementar, asegurar, monitorear y solucionar problemas de clústeres de Kafka.
Al final de este entrenamiento, los participantes serán capaces de: explicar la arquitectura de Kafka y el modo KRaft, operar y asegurar clústeres de Kafka, monitorear el rendimiento y la confiabilidad, y resolver problemas comunes en producción.
Apache Kafka para Desarrolladores
21 HorasEste entrenamiento dirigido por un instructor (en línea o presencial) en Guatemala está destinado a desarrolladores de nivel intermedio que deseen desarrollar aplicaciones de big data con Apache Kafka.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Desarrollar productores y consumidores de Kafka para enviar y leer datos desde Kafka.
- Integrar Kafka con sistemas externos usando Kafka Connect.
- Escribir aplicaciones de transmisión de datos con Kafka Streams & ksqlDB.
- Integrar una aplicación cliente de Kafka con Confluent Cloud para despliegues basados en la nube.
- Adquirir experiencia práctica a través de ejercicios prácticos y casos de uso del mundo real.
Apache Kafka para Programadores de Python
7 HorasEsta capacitación en vivo dirigida por un instructor en Guatemala (en línea o presencial) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones Apache Kafka en la transmisión de datos con Python.
Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.
Fundamentos de Kafka para Desarrolladores Java
14 HorasEste curso dirigido por un instructor y en vivo en Guatemala (en línea o presencial) está destinado a desarrolladores de Java intermedios que deseen integrar Apache Kafka en sus aplicaciones para garantizar mensajes confiables, escalables y de alta throughput.
Al final de este curso, los participantes podrán:
- Comprender la arquitectura y los componentes principales de Kafka.
- Configurar un clúster de Kafka.
- Producir y consumir mensajes utilizando Java.
- Implementar Kafka Streams para el procesamiento en tiempo real de datos.
- Asegurar la tolerancia a fallos y la escalabilidad en aplicaciones de Kafka.
Administration of Kafka Message Queue
14 HorasEsta capacitación en vivo dirigida por un instructor en Guatemala (en línea o en el sitio) está dirigida a administradores de sistemas de nivel intermedio que desean aprovechar las funciones de cola de mensajes de Kafka de manera efectiva.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender las capacidades y la arquitectura de cola de mensajes de Kafka.
- Configure temas de Kafka para escenarios de cola de mensajes.
- Producir y consumir mensajes con Kafka.
- Supervise y administre Kafka como una cola de mensajes.
Seguridad para Apache Kafka
7 HorasEste entrenamiento dirigido por un instructor en Guatemala (en línea o presencial) está destinado a testers de software que deseen implementar medidas de seguridad de red en una aplicación de Apache Kafka.
Al final de este entrenamiento, los participantes serán capaces de:
- Implementar Apache Kafka en un servidor basado en la nube.
- Implementar cifrado SSL para prevenir ataques.
- Agregar autenticación ACL para rastrear y controlar el acceso de usuarios.
- Asegurar que los clientes confiables tengan acceso a clústeres Kafka con autenticación SSL y SASL.
Apache Kafka y Spring Boot
7 HorasEsta capacitación dirigida por un instructor (en línea o presencial) en Guatemala está diseñada para desarrolladores de nivel intermedio que desean aprender los fundamentos de Kafka e integrarlo con Spring Boot.
Al final de esta formación, los participantes podrán:
- Comprender Kafka y su arquitectura.
- Aprender a instalar, configurar y establecer un entorno básico de Kafka.
- Integrar Kafka con Spring Boot.
Python y Spark para Big Data (PySpark)
21 HorasEn esta capacitación en vivo dirigida por un instructor en Guatemala, los participantes aprenderán a usar Python y Spark juntos para analizar big data mientras trabajan en ejercicios prácticos.
Al final de esta formación, los participantes serán capaces de:
- Aprenda a usar Spark con Python para analizar Big Data.
- Trabaja en ejercicios que imiten casos del mundo real.
- Utilice diferentes herramientas y técnicas para el análisis de big data utilizando PySpark.
Stratio: Módulos Rocket e Intelligence con PySpark
14 HorasStratio es una plataforma centrada en datos que integra big data, IA y gobernanza en una sola solución. Sus módulos Rocket e Intelligence permiten la exploración rápida de datos, transformaciones y análisis avanzados en entornos empresariales.
Este entrenamiento en vivo dirigido por un instructor (online o presencial) está orientado a profesionales intermedios en datos que desean utilizar los módulos Rocket e Intelligence de Stratio eficazmente con PySpark, enfocándose en estructuras de bucles, funciones definidas por el usuario y lógica avanzada de datos.
Al finalizar este entrenamiento, los participantes podrán:
- Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
- Aplicar PySpark en el contexto de ingesta, transformación y análisis de datos.
- Usar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
- Crear y gestionar funciones definidas por el usuario (UDFs) para operaciones reutilizables en PySpark.
Formato del Curso
- Conferencia interactiva y discusión.
- Muchos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.