Fine-tuning, LoRA y QLoRA

Hay tareas en las que el promptPrompt Todo lo que se envía al modelo en una llamada: mensajes con rol y definiciones de herramientas. no alcanza: el modelo devuelve JSON válido nueve de cada diez veces, clasifica bien salvo con tus categorías internas, o responde correcto pero nunca con el tono de tu marca. Fine-tuningFine-tuning Seguir entrenando un modelo preentrenado con tus propios ejemplos para cambiar cómo se comporta. significa seguir entrenando un modelo ya entrenado con tus propios ejemplos para cambiar cómo responde.

El obstáculo histórico era el costo: ajustar todos los pesos de un modelo de miles de millones de parámetros requiere varias GPUs grandes. LoRALoRA Low-rank adaptation: fine-tuning que entrena matrices pequeñas de bajo rango en lugar de todos los pesos. y QLoRAQLoRA Entrenamiento LoRA sobre un modelo base cuantizado, para que modelos grandes quepan en una GPU. cambiaron eso. Veamos cuándo conviene hacer fine-tuning, cómo funcionan los adaptersAdapter Conjunto pequeño de pesos entrenables que se agrega a un modelo congelado para cambiar su comportamiento sin reentrenarlo. y qué suele salir mal.

Prompting, RAG o fine-tuning

La pregunta decisiva es si te falta conocimiento o comportamiento.

El dataset

El fine-tuning supervisado (SFT) aprende de pares entrada → salida ideal, normalmente en JSONL (un objeto JSON por línea). El formato de chat más difundido es una lista de mensajes con roles:

{"messages": [
  {"role": "system", "content": "Clasifica el ticket."},
  {"role": "user", "content": "Me cobraron dos veces"},
  {"role": "assistant", "content": "billing"}
]}

La calidad importa más que la cantidad: ejemplos contradictorios enseñan contradicciones. Y cada ejemplo debe enseñar una forma repetible (un esquema, un conjunto de etiquetas, una plantilla), no un hecho suelto.

Datasets sintéticos

Generar pares con un LLMLLM Large language model: red neuronal entrenada para predecir el siguiente token y ajustada para seguir instrucciones. a partir de tus documentos es tentador. El riesgo es producir justamente lo que no conviene entrenar: preguntas y respuestas de hechos.

LoRA y QLoRA

Entrenar poco, cambiar mucho

Una capa lineal tiene una matriz de pesos W de d × d. El fine-tuning completo actualiza toda W. LoRA (Low-Rank Adaptation) congela W y aprende una corrección de rango bajo:

W' = W + (alpha / r) · B · A
A: r × d     B: d × r     r << d

d = 4096, r = 16:
  W completa  4096 × 4096  = 16 777 216 parámetros
  A + B       2 × 16 × 4096 =    131 072 parámetros  (~0,8 %)

La intuición: el cambio que necesitas para aprender una conducta concreta tiene pocas "direcciones" relevantes, así que no hace falta una matriz completa para expresarlo. r (rank) controla la capacidad del adapter; alpha escala su efecto. El resultado es un archivo de pocos megabytes que se aplica encima del modelo baseModelo base Modelo preentrenado que solo continúa texto, sin ajuste para seguir instrucciones. sin modificarlo, y un mismo base puede servir muchos adapters.

QLoRA: que quepa en una GPU

Aunque solo entrenes el adapter, el modelo base completo tiene que estar en memoria. QLoRA carga el base cuantizado a 4 bits (formato NF4) y congelado, y entrena los adapters en mayor precisión. La librería bitsandbytes implementa esa cuantizaciónCuantización Guardar los pesos con menos bits para reducir memoria y costo, con cierta pérdida de precisión.; PEFT aporta LoRA y prepare_model_for_kbit_training.

Overfitting y desfase entre entrenar y servir

Con pocos ejemplos el modelo memoriza en vez de generalizar: la pérdida de entrenamiento baja mientras que en ejemplos nuevos no mejora o empeora. Las defensas básicas son evaluar en ejemplos que no vio (ver Evaluar modelos), usar pocas epochs y tener un control negativo: un dataset sin patrón que debe fallar.

De PEFT a GGUF, y visión

PEFT guarda el adapter como adapter_model.safetensors. Un runtime como llama.cpp necesita el adapter en formato GGUFGGUF Formato de un solo archivo para llama.cpp y motores compatibles, con tensores y metadatos, normalmente cuantizado.. La conversión es un paso más del pipeline y puede fallar, así que conviene tratarla como tal. Servir modelos se trata en Servir modelos.

Los modelos de visión-lenguaje (VLM) se ajustan igual, con una entrada extra: la imagen. Lo habitual es congelar la torre de visión y aplicar LoRA solo al modelo de lenguaje, porque el modelo ya sabe leer la imagen; lo que aprende es a responder con tu formato.

Para CTOs

• ¿Conducta o conocimiento? Si la respuesta es "conocimiento", no financies un fine-tune.
• Datos antes que GPUs. El cuello de botella real es un dataset limpio y consistente de cientos de ejemplos, y alguien responsable de mantenerlo.
• Licencias. Verifica la licencia del modelo base antes de invertir; en el catálogo de Adapta, varios modelos Qwen de 3B tienen licencia solo para evaluación.
• Ciclo de vida. Un adapter está atado a su modelo base exacto. Cambiar de base implica reentrenar y volver a evaluar.

Para llevar

• Fine-tuning cambia comportamiento; RAG aporta conocimiento. No los confundas.
• LoRA entrena dos matrices pequeñas junto a cada capa elegida; el base queda intacto y el adapter pesa megabytes.
• QLoRA cuantiza el base a 4 bits para que el entrenamiento quepa en una GPU modesta.
• Entrenar y servir deben usar el mismo formato de prompt; si no, el adapter aprende algo que el endpoint nunca pide.
• Todo adapter se evalúa en datos que no vio antes de servirse.

Comprueba lo aprendido