Una startup deployó un agente de soporte un viernes a la tarde. El lunes a la mañana, la factura de OpenAI era de $8.400 por el fin de semana. Una pregunta edge disparó un loop de retries. No había topes.
¿Cuáles son los cuatro topes de costo que todo agente en producción necesita?
- Máximo de tokens por llamada. El techo de una invocación. Si el agente necesita más contexto, resume y reintenta.
- Máximo de retries. Tres es un límite razonable. Después escala a un humano.
- Tope diario por usuario. Una sesión abusiva o en loop no puede gastar más de un monto documentado por día.
- Kill switch a nivel de cuenta. Cuando el gasto diario de la cuenta cruza un umbral, todas las llamadas devuelven un fallback cacheado hasta que un humano resetea.
¿Cómo elegís los números?
Elegilos contra tu peor caso de usuario, no contra el promedio. El promedio te dice la factura. El peor caso te dice la sorpresa.
Preguntas frecuentes
¿Cuál es un máximo de tokens razonable?
Para lookups de status, 2.000 tokens. Para llamadas de razonamiento, 8.000. Para planning o research, 32.000. Seteá por endpoint, no por equipo.
¿Necesito un kill switch si ya tengo topes?
Sí. Los topes protegen por llamada. El kill switch protege a la cuenta de un loop que no previste.