Evaluación de LLM, Salvaguardas y Pruebas de Fiabilidad

La demo salió bien. El ejecutivo asintió. Dos semanas después, alguien pregunta si puedes dejar la cosa funcionando sin supervisión durante un fin de semana largo, y te das cuenta de que no tienes una respuesta honesta. Esta es la disciplina que te da una. No una puntuación de referencia ni una "capa de confianza" de un proveedor, sino el bucle de ingeniería que utilizan las personas que realmente ejecutan modelos de lenguaje en producción: un pequeño conjunto de datos honesto que ejercita los modos de fallo que tu sistema realmente tiene; métricas elegidas por para qué sirve la función, no por lo barato que es calcularlas; jueces LLM cuyos sesgos has medido en lugar de asumido; sondas de red team contra inyección de prompts, la trifecta letal y las familias de jailbreaks nombradas; salvaguardas en capas que nadie pretende que sean suficientes por sí solas; observabilidad lo suficientemente profunda como para que "¿qué hizo el modelo para ese usuario el martes pasado a las 3 p.m.?" sea una consulta, no una suposición. Se basa en el trabajo que las personas que poseen LLMs en producción realmente han publicado — el Top 10 LLM de OWASP 2025, MLCommons AILuminate, las definiciones de métricas de Ragas y TruLens, el enfoque estadístico de Anthropic para evaluaciones, el canon de profesionales en applied-llms.org — y en los incidentes públicos que lo justificaron: la política de chatbot de Air Canada que no era, el bot concesionario que "vendió" un Tahoe por un dólar, el agente que borró una base de datos de producción durante una congelación de código auto-declarada. El curso es para las personas a las que les toca la respuesta: ingenieros de IA, QA, gerentes de producto y los líderes de gobernanza a quienes se les pedirá que asignen todo esto al NIST AI RMF y a la Ley de IA de la UE. A lo largo de cuarenta lecciones construyes el programa — y el hábito subyacente — que convierte "normalmente funciona" en algo que puedes firmar con tu nombre.