Contexto, routing y costo

En software tradicional, ejecutar una función más cuesta casi nada. En un sistema con LLMsLLM Large language model: red neuronal entrenada para predecir el siguiente token y ajustada para seguir instrucciones., cada decisión del agenteAgente Sistema en el que un modelo, dentro de un bucle, elige la siguiente acción hasta decidir que terminó o alcanzar una condición de parada. cuesta tokensToken Unidad de subpalabra con la que el modelo lee, escribe y cobra., tiempo y dinero, y el costo depende del diseño: cuánto contexto envías, qué modelo responde y cuántas vueltas permites. Además, la ventana de contextoVentana de contexto Máximo de tokens que un modelo puede leer en una llamada; el modelo no conserva nada entre llamadas. es finita, y llenarla degrada la atención del modelo antes de que llegue el error.

Esta lección trata el contexto como un presupuestoPresupuesto Límite duro sobre tokens, llamadas, tiempo o dinero, aplicado antes de gastar el recurso., el modelo como una elección por rol, y el costo como un número cuya procedencia importa tanto como su valor. Los fundamentos de tokens y ventana están en El LLM como componente de software.

Por qué el costo de un agente crece rápido

costo de una llamada ≈ tokens_entrada × precio_entrada
                     + tokens_salida  × precio_salida
                     − descuento por tokens cacheados

costo de un turno    ≈ Σ llamadas del loop
                       (el historial se reenvía en cada una)
costo de una tarea   ≈ Σ turnos de todos los agentes + reintentos

La segunda línea es la que sorprende. Un loop de 20 iteraciones no cuesta 20 llamadas iguales: cada iteración reenvía todo lo acumulado (promptPrompt Todo lo que se envía al modelo en una llamada: mensajes con rol y definiciones de herramientas., archivos leídos, salidas de comandos). Sin compactaciónCompactación Resumir o recortar el historial para que quepa en la ventana de contexto sin perder lo importante., el costo de entrada crece de forma aproximadamente cuadrática con las iteraciones.

Context engineering

Tres fallas típicas:

• Overflow: el pedido excede la ventana y el endpoint lo rechaza; el trabajo del turno se pierde si nadie lo previó.
• Salidas gigantes: un cat de un log enorme llena el contexto en una sola llamada.
• Compactación que rompe invariantes: resumir separando un tool call de su resultado deja una conversación que el endpoint rechaza.

Estimado frente a medido

Hay dos maneras de saber cuántos tokens tiene algo, y conviene no mezclarlas:

Una estimación sirve para decidir con margen. Informarla como si fuera medición engaña a quien toma decisiones con ese número.

Tokens medidos, dólares estimados

Aun con tokens medidos, el costo real depende de cosas que el sistema a menudo no sabe: el precio vigente, descuentos por caché, planes negociados, la comisión de un gateway, si el gateway sustituyó el modelo, o tokens de razonamiento que no se reportan igual en todos lados. Por eso: los tokens se miden; los dólares se estiman.

Esa última consecuencia es la lección general: un control de costos es tan bueno como su fuente de verdad. En producción, esa fuente es la facturación del proveedor o del gateway, y el sistema interno debería reconciliarse con ella.

Presupuestos como condiciones de parada

Un runaway loop itera sin avanzar, y cada vuelta cuesta más que la anterior. La defensa son topes duros en varias dimensiones, porque cada uno atrapa un bucle distinto:

Routing de modelos por rol

Para CTOs

• Exige que cada número de costo diga si es medido o estimado, y reconcílialo con la factura real.
• ¿"Reviewer barato" es buena idea? No lo decidas por intuición: mídelo con evals sobre el mismo conjunto de cambios.
• Define topes por turno y por proyecto antes del primer despliegue, y prohíbe el gasto sin disparador explícito.

Para llevar

• El historial se reenvía en cada iteración; sin compactación, el costo crece mucho más rápido que las vueltas.
• Compacta por unidades atómicas y recorta salidas de herramientas; prueba con ventanas pequeñas.
• Estima para decidir, mide para contabilizar, y nunca presentes una estimación como gasto.
• Usa varios topes a la vez; cada uno atrapa un tipo distinto de runaway loop.
• El routing por rol ahorra, pero su calidad se demuestra con evalsEval Medición de qué tan bien se comporta el sistema completo en casos representativos, incluida la trayectoria de acciones, con oráculos aproximados y estadística., no con supuestos.

Comprueba lo aprendido