Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 1: Fundamentos y Amenazas Principales
Módulo 1: Introducción al Proyecto OWASP GenAI Security (1 hora)
Objetivos de Aprendizaje:
- Comprender la evolución desde el OWASP Top 10 hasta los desafíos específicos de seguridad de GenAI.
- Explorar el ecosistema y recursos del proyecto OWASP GenAI Security.
- Identificar las principales diferencias entre la seguridad tradicional de aplicaciones y la seguridad de IA.
Temas Cubiertos:
- Visión general de la misión y alcance del proyecto OWASP GenAI Security.
- Introducción al marco Threat Defense COMPASS.
- Comprensión del panorama de seguridad de IA y los requisitos regulatorios.
- Superficies de ataque de IA frente a vulnerabilidades tradicionales de aplicaciones web.
Ejercicio Práctico: Configurar la herramienta OWASP Threat Defense COMPASS y realizar una evaluación inicial de amenazas.
Módulo 2: OWASP Top 10 para LLMs - Parte 1 (2.5 horas)
Objetivos de Aprendizaje:
- Dominar las primeras cinco vulnerabilidades críticas de LLM.
- Comprender vectores de ataque y técnicas de explotación.
- Aplicar estrategias prácticas de mitigación.
Temas Cubiertos:
LLM01: Inyección de Prompt
- Técnicas directas e indirectas de inyección de prompt.
- Ataques con instrucciones ocultas y contaminación cruzada de prompts.
- Ejemplos prácticos: Liberar chatbots y eludir medidas de seguridad.
- Estrategias de defensa: Sanitización de entrada, filtrado de prompts, privacidad diferencial.
LLM02: Divulgación de Información Sensible
- Extracción de datos de entrenamiento y filtración de prompts del sistema.
- Análisis del comportamiento del modelo para la exposición de información sensible.
- Implicaciones de privacidad y consideraciones de cumplimiento regulatorio.
- Mitigación: Filtrado de salida, controles de acceso, anonimización de datos.
LLM03: Vulnerabilidades de la Cadena de Suministro
- Dependencias de modelos de terceros y seguridad de plugins.
- Conjuntos de datos de entrenamiento comprometidos y envenenamiento del modelo.
- Evaluación de riesgos de proveedores para componentes de IA.
- Prácticas seguras de despliegue y verificación de modelos.
Ejercicio Práctico: Laboratorio práctico que demuestra ataques de inyección de prompt contra aplicaciones vulnerables de LLM e implementación de medidas defensivas.
Módulo 3: OWASP Top 10 para LLMs - Parte 2 (2 horas)
Temas Cubiertos:
LLM04: Envenenamiento de Datos y Modelos
- Técnicas de manipulación de datos de entrenamiento.
- Modificación del comportamiento del modelo a través de entradas envenenadas.
- Ataques con puertas traseras y verificación de integridad de datos.
- Prevención: Pipelines de validación de datos, seguimiento de procedencia.
LLM05: Manejo Incorrecto de la Salida
- Procesamiento inseguro del contenido generado por LLM.
- Inyección de código a través de salidas generadas por IA.
- Cross-site scripting mediante respuestas de IA.
- Marcos de validación y sanitización de salida.
Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salida.
Módulo 4: Amenazas Avanzadas para LLMs (1.5 horas)
Temas Cubiertos:
LLM06: Agencia Excesiva
- Riesgos de toma de decisiones autónomas y violaciones de límites.
- Gestión de autoridad y permisos de agentes.
- Interacciones no intencionadas del sistema y escalada de privilegios.
- Implementación de barreras y controles de supervisión humana.
LLM07: Filtración del Prompt del Sistema
- Vulnerabilidades de exposición de instrucciones del sistema.
- Divulgación de credenciales y lógica a través de prompts.
- Técnicas de ataque para extraer prompts del sistema.
- Seguridad de instrucciones del sistema y configuración externa.
Ejercicio Práctico: Diseño de arquitecturas seguras de agentes con controles de acceso adecuados y monitoreo.
Día 2: Amenazas Avanzadas e Implementación
Módulo 5: Amenazas Emergentes de IA (2 horas)
Objetivos de Aprendizaje:
- Comprender amenazas de seguridad emergentes en IA.
- Implementar técnicas avanzadas de detección y prevención.
- Diseñar sistemas de IA resistentes a ataques sofisticados.
Temas Cubiertos:
LLM08: Debilidades de Vectores y Embebidos
- Vulnerabilidades del sistema RAG y seguridad de la base de datos vectorial.
- Envenenamiento de embebidos y ataques de manipulación de similitud.
- Ejemplos adversarios en búsqueda semántica.
- Seguridad de almacenes vectoriales e implementación de detección de anomalías.
LLM09: Desinformación y Fiabilidad del Modelo
- Detección y mitigación de alucinaciones.
- Amplificación de sesgos y consideraciones de equidad.
- Mecanismos de verificación de hechos y fuentes.
- Validación de contenido e integración de supervisión humana.
LLM10: Consumo Ilimitado
- Agotamiento de recursos y ataques de denegación de servicio.
- Estrategias de limitación de velocidad y gestión de recursos.
- Optimización de costos y controles presupuestarios.
- Monitoreo de rendimiento y sistemas de alerta.
Ejercicio Práctico: Construcción de un pipeline seguro RAG con protección de base de datos vectorial y detección de alucinaciones.
Módulo 6: Seguridad de IA Agente (2 horas)
Objetivos de Aprendizaje:
- Comprender los desafíos de seguridad únicos de agentes autónomos de IA.
- Aplicar la taxonomía OWASP Agentic AI a sistemas del mundo real.
- Implementar controles de seguridad para entornos multi-agente.
Temas Cubiertos:
- Introducción a la IA Agente y sistemas autónomos.
- Taxonomía OWASP Agentic AI: Diseño de Agentes, Memoria, Planificación, Uso de Herramientas, Despliegue.
- Seguridad y riesgos de coordinación en sistemas multi-agente.
- Mal uso de herramientas, envenenamiento de memoria y ataques de secuestro de objetivos.
- Seguridad en la comunicación y procesos de toma de decisiones de agentes.
Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía OWASP Agentic AI en un sistema multi-agente de servicio al cliente.
Módulo 7: Implementación de Threat Defense COMPASS (2 horas)
Objetivos de Aprendizaje:
- Dominar la aplicación práctica de Threat Defense COMPASS.
- Integrar la evaluación de amenazas de IA en programas de seguridad organizacionales.
- Desarrollar estrategias comprehensivas de gestión de riesgos de IA.
Temas Cubiertos:
- Inmersión profunda en la metodología Threat Defense COMPASS.
- Integración del Bucle OODA: Observar, Orientar, Decidir, Actuar.
- Mapeo de amenazas a marcos MITRE ATT&CK y ATLAS.
- Construcción de Tableros de Estrategia de Resiliencia a Amenazas de IA.
- Integración con herramientas y procesos de seguridad existentes.
Ejercicio Práctico: Evaluación completa de amenazas utilizando COMPASS para un escenario de despliegue de Microsoft Copilot.
Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)
Objetivos de Aprendizaje:
- Diseñar arquitecturas seguras de IA desde cero.
- Implementar monitoreo y respuesta a incidentes para sistemas de IA.
- Crear marcos de gobernanza para la seguridad de IA.
Temas Cubiertos:
Ciclo de Desarrollo Seguro de IA:
- Principios de seguridad por diseño para aplicaciones de IA.
- Prácticas de revisión de código para integraciones de LLM.
- Metodologías de prueba y escaneo de vulnerabilidades.
- Seguridad en el despliegue y endurecimiento en producción.
Monitoreo y Detección:
- Requisitos específicos de registro y monitoreo para sistemas de IA.
- Detección de anomalías para sistemas de IA.
- Procedimientos de respuesta a incidentes para eventos de seguridad de IA.
- Técnicas de forensia e investigación.
Gobernanza y Cumplimiento:
- Marcos y políticas de gestión de riesgos de IA.
- Consideraciones de cumplimiento regulatorio (GDPR, AI Act, etc.).
- Evaluación de riesgos de terceros para proveedores de IA.
- Capacitación en seguridad consciente para equipos de desarrollo de IA.
Ejercicio Práctico: Diseño de una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes.
Módulo 9: Herramientas y Tecnologías (1 hora)
Objetivos de Aprendizaje:
- Evaluar e implementar herramientas de seguridad de IA.
- Comprender el panorama actual de soluciones de seguridad de IA.
- Construir capacidades prácticas de detección y prevención.
Temas Cubiertos:
- Ecosistema de herramientas de seguridad de IA y panorama de proveedores.
- Herramientas de seguridad de código abierto: Garak, PyRIT, Giskard.
- Soluciones comerciales para la seguridad y monitoreo de IA.
- Patrones de integración y estrategias de despliegue.
- Criterios de selección de herramientas y marcos de evaluación.
Ejercicio Práctico: Demostración práctica de herramientas de prueba de seguridad de IA y planificación de implementación.
Módulo 10: Tendencias Futuras y Resumen (1 hora)
Objetivos de Aprendizaje:
- Comprender amenazas emergentes y desafíos futuros de seguridad.
- Desarrollar estrategias de aprendizaje continuo y mejora.
- Crear planes de acción para programas de seguridad de IA organizacionales.
Temas Cubiertos:
- Amenazas emergentes: Deepfakes, inyección de prompts avanzada, inversión de modelos.
- Desarrollos y roadmap futuros del proyecto OWASP GenAI.
- Construcción de comunidades de seguridad de IA y compartir conocimientos.
- Mejora continua e integración de inteligencia de amenazas.
Ejercicio de Planificación de Acción: Desarrollar un plan de acción de 90 días para implementar prácticas de seguridad OWASP GenAI en las organizaciones de los participantes.
Requerimientos
- Comprensión general de los principios de seguridad de aplicaciones web.
- Familiaridad básica con conceptos de IA/ML (Inteligencia Artificial/Aprendizaje Automático).
- Experiencia con marcos de seguridad o metodologías de evaluación de riesgos preferida.
Audiencia
- Profesionales de ciberseguridad
- Desarrolladores de IA
- Arquitectos de sistemas
- Oficiales de cumplimiento
- Practicantes de seguridad
14 Horas
