Observabilidad, auditoría y confiabilidad

En un servicio web, una línea como POST /orders 201 34ms basta para entender qué pasó, porque el código es la explicación. En un agenteAgente Sistema en el que un modelo, dentro de un bucle, elige la siguiente acción hasta decidir que terminó o alcanzar una condición de parada., el código del loop es el mismo en cada ejecución; lo que cambia es lo que el modelo decidió. Una línea como agent turn finished ok=false 212s no explica nada: para saber por qué un agente falló, borró un archivo o gastó 80 000 tokensToken Unidad de subpalabra con la que el modelo lee, escribe y cobra. hay que reconstruir su trayectoria.

Esta lección cubre tres disciplinas que suelen confundirse: la observabilidadObservabilidad Poder responder preguntas nuevas sobre el sistema a partir de los eventos, trazas y métricas que emite. (entender qué pasó), la auditoría (probar quién autorizó qué) y la confiabilidad (que las fallas, los reintentos y las paradas dejen el sistema en un estado consistente).

Trazas de un agente

El vocabulario viene del tracing distribuido. Una traza agrupa todo lo que ocurrió en una operación; un span es una operación con inicio, fin y padre. En un agente, la jerarquía natural es tarea → turno → llamada al modelo / tool call:

run 123  "arreglar test_login"               tokens   latencia
├─ model call #1 → grep("def test_login")     3 100    2.1 s
├─ tool grep     decision=allow  ok                    0.1 s
├─ model call #2 → bash("pytest")             4 900    2.8 s
├─ tool bash     decision=ask   aprobado tras 38 s
├─ tool bash     executed  ok=false                    9.4 s
├─ model call #3 → edit("src/auth.py")        7 400    3.5 s
└─ result ok  stop=final_message  duration=81 s

Esta vista responde lo que un log plano no: por qué tardó (38 s esperando una aprobación), por qué costó lo que costó y qué archivos tocó para que el test pasara.

Qué registrar

Registrar el modelo servido, no solo el pedido, es la defensa más barata contra la degradación silenciosa: el proveedor o un gateway cambia el modelo detrás del mismo nombre y el agente empieza a elegir peor sus herramientas.

El trade-off: un formato propio basta para una persona con grep y se queda corto cuando un programa necesita consumir la historia.

Auditoría no es observabilidad

Una traza puede muestrearse; un audit trail no, porque la acción que falta es justo la que alguien va a preguntar. En un agente, "¿quién hizo esto?" es una cadena: un modelo, un harnessHarness Runtime alrededor del modelo que ejecuta el loop y las herramientas, prepara el contexto y aplica límites., una tarea encolada, una política y quizá una aprobación humana. Si falta un eslabón, la responsabilidad se diluye.

Cadenas de hashes

Una hash chain hace que cada entrada incluya el hash de la anterior. Editar o borrar una entrada intermedia rompe el vínculo con la siguiente.

Hay que ser preciso con lo que eso garantiza. Una cadena SHA-256 sin clave ni ancla externa detecta la alteración torpe o accidental, pero no a quien tiene acceso de escritura y conoce el algoritmo: puede recalcular toda la cadena o truncar las últimas líneas sin que nada lo delate. Los niveles siguientes son HMAC con una clave fuera del host, anclar periódicamente el hash de cabeza en otro sistema, almacenamiento WORM en otra cuenta y, al final, separación de funciones: quien opera los agentes no administra el almacén de auditoría.

Sobre completitud: docket audita las decisiones que no son un allow simple (tool.deny, tool.ask, aprobaciones, runs.cancel); las ejecuciones permitidas quedan en la traza, que no está encadenada y expira a los 30 días. Hay que saber dónde vive cada evidencia.

Reintentos, timeouts e idempotencia

Un agente suma las fallas de un sistema distribuido, las de un componente probabilístico y las de actuar sobre el mundo real. No todo error merece reintento:

La receta estándar es exponential backoff con jitter, respetando Retry-After, y un circuit breaker que deja de llamar a un proveedor que falla en serie. Y como tanto el sistema como el modelo van a repetir llamadas, toda herramienta con efectos externos debería ser idempotente o aceptar una clave de idempotenciaIdempotencia Propiedad de una operación cuya repetición tiene el mismo efecto que ejecutarla una vez..

Cancelación cooperativa

Detener un agente no es matar un proceso. Un kill -9 puede dejar un tool call sin respuesta en el historial, procesos hijos vivos, efectos en vuelo sin revertir y ninguna evidencia de quién paró qué.

Tack llega a lo mismo desde fuera: como las CLIs que ejecuta lanzan sus comandos en sesiones propias, register_probe (crates/tack-runner/src/harness/mod.rs) rechaza cualquier adaptador que declare cancel: supported.

Para CTOs

• Decide qué adversario cubre tu audit trail antes de elegir el mecanismo: un bug, un operador descuidado o un administrador malicioso piden niveles distintos.
• Decide dónde terminan los promptsPrompt Todo lo que se envía al modelo en una llamada: mensajes con rol y definiciones de herramientas. antes de adoptar una plataforma de trazas.
• Pide el número de "tiempo real de parada" antes de confiar en un botón de cancelar.
• Exige que cada herramienta con efectos externos declare si es idempotente.

Para llevar

• Un agente se depura por su trayectoria, no por sus logs: trazas con modelo servido, tokens medidos, decisiones y motivo de parada.
• Observabilidad, audit trail, tamper-evident e inmutable son requisitos distintos; nómbralos con precisión.
• Una hash chain local detecta alteraciones torpes, no a un atacante con acceso de escritura que conoce el algoritmo.
• Reintenta solo lo transitorio, con backoff, y haz idempotentes las herramientas con efectos.
• Cancelar es cooperativo: pedido durable, puntos seguros y evidencia de cuándo se detuvo.

Comprueba lo aprendido