Contacta con nosotros

Temario del curso

Día 1: Fundamentos y Amenazas Principales

Módulo 1: Introducción al Proyecto de Seguridad de OWASP para IA Generativa (1 hora)

Objetivos de Aprendizaje:

  • Comprender la evolución desde las Top 10 de OWASP hasta los desafíos de seguridad específicos de IA generativa
  • Explorar el ecosistema y recursos del Proyecto de Seguridad de OWASP para IA Generativa
  • Identificar las diferencias clave entre la seguridad de aplicaciones tradicionales y la seguridad de IA

Temas Cubiertos:

  • Visión general de la misión y el alcance del Proyecto de Seguridad de OWASP para IA Generativa
  • Introducción al marco Threat Defense COMPASS
  • Comprensión del panorama de seguridad de IA y los requisitos regulatorios
  • Superficies de ataque de IA frente a vulnerabilidades de aplicaciones web tradicionales

Ejercicio Práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas

Módulo 2: Top 10 de OWASP para LLM - Parte 1 (2.5 horas)

Objetivos de Aprendizaje:

  • Dominar las cinco vulnerabilidades críticas iniciales de LLM
  • Comprender vectores de ataque y técnicas de explotación
  • Aplicar estrategias prácticas de mitigación

Temas Cubiertos:

LLM01: Inyección de Indicaciones (Prompt Injection)

  • Técnicas de inyección directa e indirecta de indicaciones
  • Ataques de instrucciones ocultas y contaminación cruzada entre indicaciones
  • Ejemplos prácticos: Romper la seguridad (jailbreaking) en chatbots y eludir medidas de seguridad
  • Estrategias de defensa: Sanitización de entradas, filtrado de indicaciones, privacidad diferencial

LLM02: Divulgación de Información Sensible

  • Extracción de datos de entrenamiento y fuga de indicaciones del sistema
  • Análisis del comportamiento del modelo para la exposición de información sensible
  • Implicaciones de privacidad y consideraciones de cumplimiento regulatorio
  • Mitigación: Filtrado de salidas, controles de acceso, anonimización de datos

LLM03: Vulnerabilidades de la Cadena de Suministro

  • Dependencias de modelos de terceros y seguridad de complementos
  • Conjuntos de datos de entrenamiento comprometidos y envenenamiento de modelos
  • Evaluación de riesgos de proveedores para componentes de IA
  • Prácticas seguras de implementación y verificación de modelos

Ejercicio Práctico: Laboratorio práctico que demuestra ataques de inyección de indicaciones contra aplicaciones LLM vulnerables e implementación de medidas defensivas

Módulo 3: Top 10 de OWASP para LLM - Parte 2 (2 horas)

Temas Cubiertos:

LLM04: Envenenamiento de Datos y Modelos

  • Técnicas de manipulación de datos de entrenamiento
  • Modificación del comportamiento del modelo a través de entradas envenenadas
  • Ataques de puertas traseras y verificación de integridad de datos
  • Prevención: Canalizaciones de validación de datos, seguimiento de procedencia

LLM05: Manejo Inadecuado de las Salidas

  • Procesamiento inseguro del contenido generado por LLM
  • Inyección de código a través de salidas generadas por IA
  • Cross-site scripting (XSS) mediante respuestas de IA
  • Marcos de validación y sanitización de salidas

Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salidas

Módulo 4: Amenazas Avanzadas de LLM (1.5 horas)

Temas Cubiertos:

LLM06: Agencia Excesiva (Excessive Agency)

  • Riesgos de la toma de decisiones autónoma y violaciones de límites
  • Gestión de autoridad y permisos de agentes
  • Interacciones no deseadas con el sistema y escalada de privilegios
  • Implementación de barreras de seguridad (guardrails) y controles de supervisión humana

LLM07: Fuga de Indicaciones del Sistema (System Prompt Leakage)

  • Vulnerabilidades de exposición de instrucciones del sistema
  • Divulgación de credenciales y lógica a través de indicaciones
  • Técnicas de ataque para extraer indicaciones del sistema
  • Seguridad de las instrucciones del sistema y configuración externa

Ejercicio Práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo apropiados

Día 2: Amenazas Avanzadas e Implementación

Módulo 5: Amenazas Emergentes de IA (2 horas)

Objetivos de Aprendizaje:

  • Comprender las amenazas de seguridad de IA de vanguardia
  • Implementar técnicas avanzadas de detección y prevención
  • Diseñar sistemas de IA resistentes frente a ataques sofisticados

Temas Cubiertos:

LLM08: Debilidades en Vectores y Empotramientos (Embeddings)

  • Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales
  • Envenenamiento de empotramientos y ataques de manipulación de similitud
  • Ejemplos adversarios en la búsqueda semántica
  • Seguridad de almacenes vectoriales e implementación de detección de anomalías

LLM09: Desinformación y Confiabilidad del Modelo

  • Detección y mitigación de alucinaciones
  • Amplificación de sesgos y consideraciones de equidad
  • Mecanismos de verificación de hechos y fuentes
  • Integración de validación de contenido y supervisión humana

LLM10: Consumo Ilimitado (Unbounded Consumption)

  • Agotamiento de recursos y ataques de denegación de servicio
  • Estrategias de limitación de tasa y gestión de recursos
  • Optimización de costos y controles presupuestarios
  • Sistemas de monitoreo de rendimiento y alertas

Ejercicio Práctico: Construcción de una tubería (pipeline) RAG segura con protección de base de datos vectorial y detección de alucinaciones

Módulo 6: Seguridad de IA Agéntica (2 horas)

Objetivos de Aprendizaje:

  • Comprender los desafíos únicos de seguridad de los agentes de IA autónomos
  • Aplicar la taxonomía de IA Agéntica de OWASP a sistemas del mundo real
  • Implementar controles de seguridad para entornos multi-agente

Temas Cubiertos:

  • Introducción a la IA Agéntica y sistemas autónomos
  • Taxonomía de Amenazas de IA Agéntica de OWASP: Diseño del Agente, Memoria, Planificación, Uso de Herramientas, Despliegue
  • Riesgos de coordinación y seguridad en sistemas multi-agente
  • Ataques por mal uso de herramientas, envenenamiento de memoria y secuestro de objetivos
  • Seguridad en la comunicación y los procesos de toma de decisiones del agente

Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía de IA Agéntica de OWASP en un sistema multi-agente de atención al cliente

Módulo 7: Implementación de Threat Defense COMPASS de OWASP (2 horas)

Objetivos de Aprendizaje:

  • Dominar la aplicación práctica de Threat Defense COMPASS
  • Integrar la evaluación de amenazas de IA en los programas de seguridad organizacionales
  • Desarrollar estrategias integrales de gestión de riesgos de IA

Temas Cubiertos:

  • Análisis profundo de la metodología Threat Defense COMPASS
  • Integración del ciclo OODA: Observar, Orientar, Decidir, Actuar
  • Mapeo de amenazas a los marcos MITRE ATT&CK y ATLAS
  • Construcción de Paneles de Estrategia de Resiliencia ante Amenazas de IA
  • Integración con herramientas y procesos de seguridad existentes

Ejercicio Práctico: Evaluación completa de amenazas utilizando COMPASS para un escenario de implementación de Microsoft Copilot

Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)

Objetivos de Aprendizaje:

  • Diseñar arquitecturas de IA seguras desde cero
  • Implementar monitoreo y respuesta a incidentes para sistemas de IA
  • Crear marcos de gobernanza para la seguridad de IA

Temas Cubiertos:

Ciclo de Desarrollo Seguro de IA:

  • Principios de seguridad por diseño para aplicaciones de IA
  • Prácticas de revisión de código para integraciones con LLM
  • Metodologías de prueba y escaneo de vulnerabilidades
  • Seguridad en el despliegue y endurecimiento (hardening) en producción

Monitoreo y Detección:

  • Requisitos específicos de registro y monitoreo para IA
  • Detección de anomalías para sistemas de IA
  • Procedimientos de respuesta a incidentes para eventos de seguridad en IA
  • Técnicas de forensia e investigación

Gobernanza y Cumplimiento:

  • Marcos y políticas de gestión de riesgos de IA
  • Consideraciones de cumplimiento regulatorio (GDPR, Ley de IA, etc.)
  • Evaluación de riesgos de terceros para proveedores de IA
  • Capacitación en concienciación sobre seguridad para equipos de desarrollo de IA

Ejercicio Práctico: Diseñar una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes

Módulo 9: Herramientas y Tecnologías (1 hora)

Objetivos de Aprendizaje:

  • Evaluar e implementar herramientas de seguridad de IA
  • Comprender el panorama actual de soluciones de seguridad de IA
  • Construir capacidades prácticas de detección y prevención

Temas Cubiertos:

  • Ecosistema de herramientas de seguridad de IA y panorama de proveedores
  • Herramientas de código abierto para seguridad: Garak, PyRIT, Giskard
  • Soluciones comerciales para seguridad y monitoreo de IA
  • Patrones de integración y estrategias de despliegue
  • Criterios de selección de herramientas y marcos de evaluación

Ejercicio Práctico: Demonstración práctica de herramientas de prueba de seguridad de IA y planificación de implementación

Módulo 10: Tendencias Futuras y Cierre (1 hora)

Objetivos de Aprendizaje:

  • Comprender las amenazas emergentes y los desafíos futuros de seguridad
  • Desarrollar estrategias de aprendizaje continuo y mejora
  • Crear planes de acción para programas de seguridad de IA organizacionales

Temas Cubiertos:

  • Amenazas emergentes: Deepfakes, inyección de indicaciones avanzada, inversión de modelos
  • Futuros desarrollos y hoja de ruta del proyecto OWASP de Seguridad de IA Generativa
  • Construcción de comunidades de seguridad de IA e intercambio de conocimientos
  • Mejora continua e integración de inteligencia de amenazas

Ejercicio de Planificación de Acción: Desarrollar un plan de acción de 90 días para implementar prácticas de seguridad OWASP de IA Generativa en las organizaciones de los participantes

Requerimientos

  • Comprensión general de los principios de seguridad de aplicaciones web
  • Familiaridad básica con conceptos de IA / ML
  • Se prefiere experiencia con marcos de seguridad o metodologías de evaluación de riesgos

Público Objetivo

  • Profesionales de ciberseguridad
  • Desarrolladores de IA
  • Arquitectos de sistemas
  • Oficial cumplimiento normativo
  • Practicantes de seguridad
 14 Horas

Número de participantes


Precio por participante

Reseñas (1)

Próximos cursos

Categorías Relacionadas