Un equipo deployó un chatbot que respondía preguntas de soporte. Seis semanas después, el modelo liberó un upgrade de versión. De un día para otro, el chatbot empezó a confundir la política de devolución con la de reembolso. Nadie tenía harness de evaluación.
¿Qué va adentro del set de fixtures?
- Ejemplos reales. No sintéticos. Sacalos de tus logs reales.
- Respuestas correctas conocidas. Las escribió un humano, un segundo humano las revisó.
- Edge cases. Las tres o cuatro frases que siempre confundieron a la versión anterior.
- Prompts adversariales. Los jailbreaks que ya viste.
50 fixtures alcanzan para atrapar regresiones en una superficie simple. 200 para cualquier cosa que toque producción.
Preguntas frecuentes
¿Necesito un harness para un MVP?
Si el MVP toca clientes reales, sí. Si es un demo interno, podés diferirlo. El costo de agregarlo después es chico hasta que un release de modelo rompe producción. Ahí es caro.
¿Quién es dueño del set de fixtures?
El equipo más cercano al usuario. Ingeniería ayuda a automatizarlo, pero producto o soporte elige los ejemplos.