"Se siente bien" no es una métrica. Antes de poner un asistente frente a usuarios reales, armamos una batería de evaluación con preguntas reales del negocio y respuestas de referencia validadas por expertos internos.
Medimos tres cosas por separado: recuperación (¿el sistema encontró los documentos correctos?), fidelidad (¿la respuesta se sostiene en lo recuperado o alucina?) y utilidad (¿un usuario experto la aceptaría?).
La batería corre en cada cambio (de prompt, de modelo, de índice) como si fuera una suite de tests. Un cambio que mejora la conversación pero degrada la fidelidad no pasa.
¿El costo? Unas 60 preguntas curadas y una tarde de expertos. ¿El beneficio? Desplegar con evidencia en la mano, y detectar regresiones antes que los usuarios.