Gateways de modelos

Cuando una organización pasa de un prototipo a varios equipos que usan modelos de lenguaje, aparecen los mismos problemas: llaves de proveedores copiadas en diez repositorios, gastos que nadie puede atribuir, un proveedor caído que tumba la aplicación y ningún registro central de qué se envió a dónde.

Un model gateway (gateway de modelosGateway de modelos Servicio único entre tus aplicaciones y muchos proveedores de modelos, que ofrece una sola API y gestiona llaves, límites, caché y registros.) lo resuelve con una sola entrada compartida delante de todos los modelos. Esta lección cubre qué es un gateway, qué revisar antes de confiar en cada una de sus funciones, en qué se diferencia de un router o de una librería cliente, y dónde deja de ayudar. El caso de estudio es docket, que no es un gateway, sino un programa que puede hablar con uno.

Qué es un gateway

Piensa en la recepción de un edificio: las visitas no reciben llaves de todas las oficinas; se registran una vez, reciben una credencial, y la recepción decide a dónde pueden ir y lleva un registro.

En el diagrama, varias aplicaciones comparten un gateway, que guarda las reglas y llega a muchos modelos.

Las aplicaciones conocen una sola dirección y una llave emitida por el gateway; las llaves reales de los proveedores viven solo dentro del gateway.

Qué suele ofrecer y qué revisar

Una caché semánticaCaché semántica Caché que reutiliza una respuesta previa cuando un prompt nuevo significa casi lo mismo, según la comparación de sus embeddings. reutiliza una respuesta anterior cuando una pregunta nueva se parece lo suficiente en significado, algo que se juzga con embeddings. Ahorra dinero, pero preguntas parecidas pueden necesitar respuestas distintas; úsala solo cuando la respuesta no dependa de quién pregunta ni de cuándo.

Gateway, router o SDK

• Un SDK, como el AI SDK de Vercel o la librería de LiteLLM, vive dentro de tu aplicación y da una sola forma de llamar a muchos proveedores. Unifica el código, pero cada aplicación conserva sus propias llaves y reglas.
• Un router decide qué modelo o proveedor atiende cada pedido, en tu código o dentro de un gateway. OpenRouter, por ejemplo, elige proveedor según disponibilidad y precio, con fallback activo por defecto.
• Un gateway es un servicio aparte por el que pasa todo el tráfico, así que centraliza llaves, límites, caché y registros.

Se pueden combinar. El routing por rol es una decisión de diseño que puedes tomar con o sin gateway.

docket como cliente de gateways

Es un cliente simple a propósito:

• Llaves: una por proveedor, desde la configuración, el entorno o un archivo local de secretos. Sin llaves ni presupuestos por equipo: es software beta para un solo operador (README).
• Reintentos: reintenta un paso fallido un par de veces, además de lo que haga el gateway, y todavía no respeta la indicación del proveedor de "vuelve a intentar después de".
• Sin fallbackFallback Reenviar automáticamente un pedido fallido a otro proveedor o modelo.: un pedido que falla nunca pasa a un modelo más barato.
• Sin extras de gateway: no envía opciones propias de cada gateway ni descubre catálogos o precios.
• Costo: registra los tokens que reporta el endpoint, pero deja sin precio a propósito los modelos de OpenRouter y Vercel, porque un marketplace cambia precios por modelo y por cuenta.

Dónde deja de ayudar

Un gateway controla qué se envía a qué modelo. No controla qué hace tu sistema con la respuesta. Si el modelo pide borrar una carpeta o transferir dinero, el gateway solo ve un mensaje que pide usar una herramienta. Si esa acción puede ocurrir lo decide el runtime del agenteAgente Sistema en el que un modelo, dentro de un bucle, elige la siguiente acción hasta decidir que terminó o alcanzar una condición de parada., con políticas, aprobaciones y auditoría; lo vemos en Gobernanza y human-in-the-loop.

Otros límites que conviene prever:

• Demora: un salto de red más, y más si los guardrailsGuardrail Término amplio para cualquier control que filtra o bloquea entradas, salidas o acciones; pregunta dónde se aplica y qué pasa si falla. o la caché hacen sus propias llamadas.
• Punto único de falla: si el gateway cae, caen todos los modelos a la vez.
• Reintentos apilados: si reintentan la aplicación y el gateway, un error puede multiplicar las llamadas y el costo.
• Reproducibilidad: con fallback o balanceo, la misma llamada puede llegar a otro modelo. Registra quién respondió.
• A dónde van los datos: el gateway ve cada promptPrompt Todo lo que se envía al modelo en una llamada: instrucciones, mensajes de la conversación y las definiciones de herramientas, si las hay. y cada respuesta, y puede guardarlos. Revisa dónde procesa y conserva los datos. OpenRouter, por ejemplo, permite restringir el routing a proveedores que no guardan datos y ofrece procesamiento dentro de una región solo a clientes enterprise.

En la práctica

• Parte de qué quieres centralizar y quién lo va a operar, no de qué producto elegir.
• Ajústalo al tamaño de la organización. Un equipo con un proveedor quizá solo necesite una librería cliente y un buen manejo de llaves; varios equipos necesitan llaves por equipo, atribución de costos y un registro central, y ahí un gateway se justifica.
• Con datos regulados, decide primero dónde pueden procesarse; eso descarta opciones antes de comparar funciones.
• Separa el acceso a modelos de la gobernanza de agentes. Necesitas ambos, en capas distintas.

Para profundizar

La documentación de docket y de Tack muestra cómo se ve en la práctica llamar a modelos a través de un gateway (en inglés):

• Models, gateways and harnesses configura OpenRouter y Vercel AI Gateway, combina gateways por rol y detalla qué cubre y qué no cubre "compatible".
• Architecture explica por qué docket ejecuta su propio loop de agente y llega a cada modelo con un solo cliente simple, sin SDK de proveedor.
• Troubleshooting repasa los errores de endpoint habituales: ningún endpoint configurado, un servidor inalcanzable y pedidos que el proveedor rechaza.
• Agent runners and fleet execution registra, para cada herramienta de código, si se confirma el modelo que respondió y por qué un gateway puede dejarlo sin confirmar.

Fuentes

• LiteLLM Proxy
• OpenRouter: provider routing
• Vercel AI Gateway
• Cloudflare AI Gateway: visión general, endpoint compatible, guardrails
• Portkey AI Gateway
• Kong AI Gateway
• Envoy AI Gateway ahora es Agent Router
• Azure API Management: capacidades de AI gateway
• Hugging Face Inference Providers

Para llevar

• Un gateway es una sola entrada compartida a muchos modelos: el lugar para llaves, límites, caché y registros.
• SDK, router y gateway resuelven problemas distintos y se pueden combinar.
• Revisa qué cubre de verdad cada presupuesto, caché y fallback antes de apoyarte en ellos.
• docket es un cliente simple de gateways: un formato, reintentos propios, sin fallback y sin precios para modelos de marketplace.
• Un gateway no gobierna lo que hacen los agentes, suma demora y es un punto único de falla.

Comprueba lo aprendido