Desarrollo de aplicaciones LLM seguras y responsables

Visión general de la arquitectura LLM y superficie de ataque

• Cómo se construyen, despliegan y acceden a los LLM a través de APIs.
• Componentes clave en las pilas de aplicaciones LLM (por ejemplo, prompts, agentes, memoria, APIs).
• Dónde y cómo surgen los problemas de seguridad en el uso real.

Inyección de comandos (Prompt Injection) y ataques de jailbreak

• Qué es la inyección de comandos y por qué es peligrosa.
• Escenarios de inyección directa e indirecta de prompts.
• Técnicas de jailbreaking para eludir los filtros de seguridad.
• Estrategias de detección y mitigación.

Fugas de datos y riesgos de privacidad

• Exposición accidental de datos a través de las respuestas del modelo.
• Fugas de información personalmente identificable (PII) y uso indebido de la memoria del modelo.
• Diseño de prompts conscientes de la privacidad y generación aumentada con recuperación (RAG).

Filtrado y protección de las salidas LLM

• Uso de Guardrails AI para el filtrado y validación de contenido.
• Definición de esquemas y restricciones de salida.
• Monitoreo y registro de salidas inseguras.

Supervisión humana en el proceso (Human-in-the-Loop) y enfoques de flujo de trabajo

• Dónde y cuándo introducir la supervisión humana.
• Colas de aprobación, umbrales de puntuación y manejo de respuestas alternativas.
• Calibración de confianza y el papel de la explicabilidad.

Patrones de diseño seguro para aplicaciones LLM

• Principio de mínimo privilegio y aislamiento (sandboxing) para llamadas a APIs y agentes.
• Límites de velocidad (rate limiting), limitación y detección de abuso.
• Cadenas robustas con LangChain y aislamiento de prompts.

Cumplimiento, registro y gobernanza

• Garantizar la auditabilidad de las salidas de LLM.
• Mantenimiento de la trazabilidad y el control de versiones de los prompts.
• Alineación con las políticas de seguridad interna y las necesidades regulatorias.

Resumen y próximos pasos