Temario del curso
Módulo 1 — Cómo Fallan las Aplicaciones de IA
Lab: ninguno — recorrido arquitectónico y discusión
El modelo mental del constructor sobre la superficie de ataque.
Temas:
- Arquitecturas de LLM, RAG y agentes desde el lado del desarrollador
- el ciclo de vida de solicitud/respuesta de una función de IA
- flujo de indicaciones: mensajes del sistema, del desarrollador, del usuario y de las herramientas
- dónde entran (y vuelven a entrar) los datos no confiables en el modelo
- los límites de confianza que posee vs. hereda un desarrollador
- por qué los ataques de IA son semánticos, no sintácticos
- mapeo del Top 10 de LLM de OWASP al código que escribes
Insight clave: Cada lugar donde el texto no confiable llega al modelo — o la salida del modelo llega a tu código — es un límite que poses.
Módulo 2 — Inyección de Indicaciones para Constructores
Lab: Lab 01 — 01-Prompt-Injection
El «momento de inyección SQL» para IA — pero no puedes escapar completamente de él.
Temas:
- inyección directa vs. indirecta de indicaciones
- instrucciones ocultas en documentos, páginas web y salidas de herramientas
- jailbreaks y confusión de roles
- por qué importa la separación entre instrucción y datos
- diseño defensivo de indicaciones (delimitadores, estructura, autoridad mínima)
- por qué la prevención es parcial — diseña para la contención
Manos a la obra:
- ataca tu propio chatbot
- bypassa un filtro ingenuo
- reestructura la indicación para reducir el radio de explosión
Módulo 3 — Tratando la Salida del Modelo como No Confiable
Lab: Lab 02 — 02-Output-Handling
La clase de errores que los desarrolladores subestiman más.
Temas:
- salida del modelo como entrada no confiable para el resto de la aplicación
- manejo inseguro de la salida (LLM02): XSS, SSRF, inyección de comandos/SQL downstream
- nunca uses eval/exec/render en la salida cruda del modelo
- salidas estructuradas y validación de esquema
- codificación de salida y listas de permitidos (allowlists)
- renderizado seguro en contextos web/UI
Manos a la obra:
- encuentra y corrige una vulnerabilidad de manejo inseguro de salida
- impone un esquema JSON en las respuestas del modelo
Módulo 4 — Seguridad de RAG
Lab: Lab 03 — 03-RAG-Security
Una de las nuevas superficies de ataque más grandes — y es tuya construir.
Temas:
- amenazas a bases de datos vectoriales y recuperación
- sanitización en la ingestión
- procedencia de documentos y puntuación de confianza
- alcance de la recuperación y aislamiento de metadatos
- instrucciones ocultas en el contenido recuperado (inyección indirecta)
- exfiltración de datos mediante recuperación
Manos a la obra: envenena un pipeline RAG con un documento malicioso; agrega sanitización de ingestión y alcance de recuperación para defenderlo.
Módulo 5 — Seguridad de Agentes y Herramientas
Lab: Lab 04 — 04-Agent-Safety
Donde un error se convierte en una acción.
Temas:
- agencia excesiva (LLM06) y abuso de herramientas
- privilegio mínimo para agentes
- listas de permitidos de herramientas y validación de argumentos
- puntos de aprobación y humano en el bucle (human-in-the-loop)
- aislamiento (sandboxing) de la ejecución de herramientas
- credenciales acotadas y de vida corta para agentes
- limitación de bucles autónomos y encadenamientos
Manos a la obra:
- bloquea un agente con permisos excesivos
- añade una lista de permitidos + punto de aprobación a una herramienta peligrosa
Módulo 6 — Secretos, Identidad y Costo
Lab: Lab 05 — 05-Secrets-and-Cost
Los errores operativos que hieren más rápido.
Temas:
- gestión de claves API y secretos (nunca en indicaciones, código o registros)
- autenticación y autorización por usuario para funciones de IA
- propagación de la identidad del usuario a herramientas y recuperación
- denegación de billetera: consumo ilimitado de tokens/costos
- límites de tasa, presupuestos de tokens y tiempos de espera (timeouts)
- registros sin filtrar secretos o información personal identificable (PII)
Manos a la obra:
- saca los secretos de la ruta de la indicación/código
- añade límites de tasa por usuario y un presupuesto de tokens/costo
Módulo 7 — Bibliotecas de Barreras de Seguridad (Guardrails)
Lab: Lab 06 — 06-Guardrails
Compra vs. construye para la seguridad de entrada/salida.
Temas:
- qué hacen (y qué no) los marcos de barreras de seguridad
- barreras de entrada: clasificadores de inyección/PII/tópico
- barreras de salida: validación, filtrado, verificaciones de fundamentación (grounding)
- cuándo es apropiada una barrera de seguridad vs. tu propia comprobación determinista
- capas de barreras de seguridad junto con los controles de módulos anteriores
- rendimiento, falsos positivos y modos de fallo
Manos a la obra:
- añade una capa de barrera de seguridad en entrada/salida a una función de IA
- mide qué captura y qué se le escapa
Módulo 8 — Evaluación de Penetración (Red-Teaming) de tu Propia Aplicación
Lab: Lab 07 — 07-Red-Teaming
Entrega como si un atacante ya la hubiera capturado.
Temas:
- construcción de una suite de abuso/pruebas para funciones de IA
- pruebas automatizadas de inyección de indicaciones y jailbreaks
- pruebas de regresión de barreras de seguridad y políticas
- ejecución de comprobaciones de seguridad de IA en CI (Integración Continua)
- cadena de suministro de modelos y dependencias (procedencia, fijación de versiones / pinning)
- una lista de comprobación de seguridad pre-entrega para funciones de IA
Manos a la obra:
- escribe pruebas automatizadas de red-team para una función de IA
- conéctalas a una comprobación de CI
Módulo 9 — Puntuación de Seguridad de IA: El Marco SAIS-100
Lab: ninguno — ejercicio de puntuación (usa la aplicación Capstone)
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- el Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es seguro?»
- las seis categorías puntuadas (Datos, Indicaciones, Agente, Cadena de Suministro, Detección, Gobernanza)
- la rúbrica de 100 puntos y sus ponderaciones
- bandas de veredicto y la regla de anulación de categoría única
- la Escala del Elefante de Puntuación de IA Segura (SAIS-100) como un marco reutilizable y con marca propia
- puntuar antes/después del endurecimiento (hardening) como métrica
Manos a la obra:
- punta la aplicación Capstone en la escala de 100 puntos
- identifica el único cambio que más eleva la puntuación
Insight clave: Las tres categorías con mayor ponderación mapean a los límites de confianza que posee un desarrollador; por lo tanto, la puntuación mide exactamente lo que este curso enseñó.
Proyecto Final (Capstone)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de principio a fin.
La aplicación inicial contiene:
- una indicación inyectable
- manejo inseguro de salida
- un pipeline RAG sin alcance definido
- un agente con permisos excesivos
- secretos en la ruta de la indicación
- sí limites de costo
Los estudiantes aplican lo aprendido en el curso:
- reestructuran indicaciones para contención
- validan y codifican la salida del modelo
- sanitizan y acotan la recuperación
- aplican privilegio mínimo y puntos de aprobación al agente
- sacan los secretos y añaden límites de costo/tasa
- añaden barreras de seguridad y pruebas automatizadas de red-team
Entregable: una aplicación endurecida más una breve autoevaluación del Top 10 de LLM de OWASP.
Mapeo de Módulos a Laboratorios
Los laboratorios se ejecutan en orden, siguiendo el orden de los módulos. El curso tiene 9 módulos y 7 laboratorios: el Módulo 1 es un recorrido arquitectónico/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de laboratorio.
- Lab 01 - 01-Prompt-Injection: Ataca tu chatbot y diseña para la contención (Módulo 2)
- Lab 02 - 02-Output-Handling: Corrige un error de manejo inseguro de salida (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenena y luego defiende un pipeline RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Bloquea un agente con permisos excesivos (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Asegura claves + añade barreras de costo (Módulo 6)
- Lab 06 - 06-Guardrails: Añade una capa de barrera de seguridad en entrada/salida (Módulo 7)
- Lab 07 - 07-Red-Teaming: Pruebas automatizadas de red-team en CI (Módulo 8)
El Módulo 1 (Cómo Fallan las Aplicaciones de IA) no tiene laboratorio; se ejecuta como un recorrido arquitectónico y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de laboratorio; se ejecuta como un ejercicio de puntuación contra la aplicación Capstone.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben sentirse cómodos con: construir y consumir APIs REST, un lenguaje de scripting (los laboratorios usan Python), autenticación básica de aplicaciones, git y la línea de comandos (CLI).
- No se requiere experiencia previa en aprendizaje automático; este es un curso de seguridad de aplicaciones para personas que construyen con LLMs, no quienes los entrenan.
Público Objetivo
- Ingenieros de software / backend que construyen funciones LLM
- Desarrolladores full-stack y de APIs
- Ingenieros de aplicaciones de IA/ML
- Ingenieros de plataforma que entregan copilotos y agentes
- Líderes técnicos e ingenieros senior responsables de funciones de IA
Reseñas (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
