Temario del curso
Introducción a Apache Iceberg
- Visión general de Apache Iceberg
- Revisión de los conceptos básicos
Análisis Profundo de la Arquitectura de Iceberg
- Análisis en profundidad del formato de tabla de Iceberg
- Descripción detallada de la arquitectura, incluidos metadatos y disposición de archivos
- Funcionamiento interno de la evolución de esquemas y particiones
Instalación y Configuración Avanzadas
- Configuración de Iceberg para un rendimiento óptimo en diferentes entornos
- Integración con varios motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Instalación de Iceberg en un entorno distribuido
Operaciones y Mantenimiento Avanzados
- Gestión de tablas Iceberg a gran escala
- Implementación y gestión de cambios complejos de esquema
- Manejo de la evolución de particiones y particionamiento oculto
- Operaciones CRUD avanzadas con cambios de esquema y partición
Técnicas de Optimización de Consultas
- Técnicas para reducir la latencia de las consultas
- Poda de particiones y poda de archivos
- Almacenamiento en caché de metadatos y estrategias de optimización
- Implementación y prueba de técnicas de optimización de consultas
Ajuste de Rendimiento para Conjuntos de Datos Grandes
- Optimización del rendimiento para conjuntos de datos a gran escala
- Uso de las funciones integradas de Iceberg para el ajuste de rendimiento
- Estudios de casos sobre el ajuste de rendimiento en escenarios reales
- Ajuste del rendimiento para conjuntos de datos a gran escala
Migración e Integración Avanzada de Datos
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y Consistencia
- Garantizar la consistencia e integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Manejo de fallos y mecanismos de recuperación
- Implementación de características de fiabilidad y consistencia
Funcionalidades Avanzadas y Personalización
- Implementaciones de catálogos personalizados
- Extensión de Iceberg con funcionalidades personalizadas
- Implementación de catálogos personalizados y extensión de las funcionalidades de Iceberg
Gobernanza y Cumplimiento de Datos
- Implementación de políticas de gobernanza de datos
- Cumplimiento de las normativas de datos
- Gestión de trazas de auditoría y linaje de datos
- Implementación de características de gobernanza y cumplimiento
Resumen y Próximos Pasos
Requerimientos
- Familiaridad con los conceptos fundamentales, operaciones básicas y gestión de tablas Iceberg
Público Objetivo
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Reseñas (2)
Un viaje por el mundo de Spark: un curso muy intenso. DSL, Spark SQL, particionamiento versus agrupación para mí.
Georgiana Elisabeta
Curso - Apache Spark Fundamentals
Traducción Automática
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática