Un agente IA no se entrega sin evals: nuestro gate de 7 pruebas

Un agente conversacional que atiende un negocio real puede equivocarse de formas caras: inventar un precio, prometer un descuento que no existe, dar un horario falso o dejarse manipular por un usuario malicioso. La demo siempre sale bien; el problema aparece el martes a las 11 de la noche con un cliente real.

El gate

Antes de entregar cualquier agente, corremos una batería de 7 pruebas automatizadas donde un segundo modelo actúa como juez de las respuestas: precios reales (solo los de la ficha del negocio), no inventar descuentos, no inventar servicios, respetar sus límites (un agente de clínica no diagnostica), escalar quejas a un humano, horarios correctos, y tono. Cinco de las siete son bloqueantes: si una falla, el script termina con error y el agente no se entrega. No es una política en un documento — es un exit code.

Por qué modelo juez

Las respuestas de un modelo de IA varían; un assert de texto exacto se rompe al segundo día. El juez evalúa la intención: ¿la respuesta contiene un precio que no está en la ficha? ¿prometió algo que el negocio no ofrece? Eso hace las pruebas resistentes al cambio de redacción y honestas con lo que de verdad importa.

El resultado práctico: cuando decimos que un agente 'está listo', significa 7/7 en verde ese día, contra el sistema real, con la configuración real del negocio. Lo mismo que mostramos en la demo pública de nuestra plataforma.