Fine-tuning, LoRA y QLoRA

Algunos problemas no se resuelven con mejores instrucciones. El modelo devuelve JSON válido nueve de cada diez veces, clasifica bien los tickets salvo en tus categorías internas, o responde correctamente pero nunca con la voz de tu marca. Fine-tuningFine-tuning Seguir entrenando un modelo preentrenado con tus propios ejemplos para cambiar cómo se comporta. significa seguir entrenando un modelo existente con tus propios ejemplos para que cambie cómo responde.

El obstáculo solía ser el costo: ajustar cada número de un modelo que tiene miles de millones de ellos requiere varias tarjetas gráficas grandes. LoRALoRA Low-rank adaptation: forma más barata de hacer fine-tuning que entrena matrices pequeñas añadidas en lugar de todos los pesos del modelo. y QLoRAQLoRA Entrenamiento LoRA sobre una copia comprimida (cuantizada) del modelo, para que incluso modelos grandes puedan ajustarse en una sola GPU. lo hicieron posible con una sola. Esta lección cubre cuándo el fine-tuning es la herramienta correcta, cómo es un buen dataset, cómo funcionan LoRA y QLoRA, y los errores que más a menudo arruinan el resultado.

¿Comportamiento o conocimiento?

Antes de entrenar nada, pregúntate qué falta. Si al modelo le falta conocimiento (datos, precios, políticas), entrégale los documentos correctos en el momento de la pregunta: eso es RAGRAG Retrieval-augmented generation: encontrar pasajes relevantes en tus documentos y agregarlos al prompt antes de que el modelo responda., que se ve en Embeddings y RAG. Si le falta un comportamiento (un formato fijo, tus propias etiquetas, una voz), eso sí se puede entrenar.

El dataset

El fine-tuning aprende de ejemplos: una entrada y la salida ideal para ella. En un clasificador de tickets, un ejemplo empareja "me cobraron dos veces" con "facturación". Esto se llama fine-tuning supervisado (SFT).

La calidad le gana a la cantidad: los ejemplos contradictorios enseñan contradicciones. Cada ejemplo debe enseñar una forma repetible (una estructura, un conjunto de etiquetas, una plantilla), no un dato aislado. Ese es el riesgo de pedirle a un modelo que genere ejemplos a partir de tus documentos: tiende a producir pares de pregunta y respuesta sobre datos.

LoRA y QLoRA

Entrenar una pequeña corrección, no el modelo entero

El conocimiento de un modelo vive en grandes tablas de números llamadas pesos. El fine-tuning clásico ajusta todos, lo que exige muchísima memoria y produce una copia completa del modelo.

LoRA (Low-Rank Adaptation) congela los pesos originales y aprende una pequeña corrección que se ubica a su lado. La idea de fondo es que un comportamiento concreto no requiere cambiarlo todo; una corrección compacta captura casi todo lo necesario. En una capa típica, esa corrección tiene menos del uno por ciento de los números de la capa.

El resultado es un adapterAdapter Conjunto pequeño de pesos extra que se entrenan y se agregan a un modelo que por lo demás no cambia, para modificar su comportamiento sin reentrenarlo entero.: un archivo de pocos megabytes que se aplica sobre un modelo baseModelo base Modelo tras su primer entrenamiento general, que solo continúa texto y todavía no fue ajustado para seguir instrucciones. sin cambios. Un mismo base puede servir muchos adapters, uno por tarea.

QLoRA: que quepa en una tarjeta

Aunque solo se entrene el adapter, el modelo base completo tiene que estar en la memoria de la tarjeta gráfica. QLoRA carga ese base congelado cuantizado, es decir, comprimido a 4 bits por número, y entrena el adapter con más precisión.

Qué suele salir mal

Memorizar en vez de aprender. Con pocos ejemplos, el modelo los memoriza: las cifras de entrenamientoEntrenamiento Ajustar los pesos de un modelo a partir de datos para que sus predicciones mejoren. siguen mejorando mientras los resultados en ejemplos nuevos se estancan o empeoran. Eso es overfittingOverfitting Que un modelo memorice sus datos de entrenamiento en lugar de aprender patrones que generalicen. (sobreajuste). Las defensas son probar con ejemplos que nunca vio (Evaluar modelos), entrenar pocas pasadas y usar un control negativo: un dataset sin ningún patrón, que tiene que fallar.

Entrenar con un formato y servir con otro. Los modelos de chat leen conversaciones envueltas en marcadores especiales, su chat template. Si el entrenamiento muestra texto plano "Usuario: … Asistente: …" pero el sistema en vivo envía la plantilla, el adapter recibe algo que no se parece a nada de lo que aprendió.

De entrenar a servir, e imágenes

El entrenamiento guarda el adapter en un formato de archivo; el motor llama.cpp que lo sirve espera otro, GGUFGGUF Formato de un solo archivo que usan llama.cpp y herramientas similares para ejecutar modelos en local, con los pesos y sus metadatos, normalmente cuantizado. (Servir modelos). La conversión puede fallar, así que trátala como un paso del pipeline. En Adapta, una conversión fallida hace fallar todo el trabajo: un adapter que no se puede servir nunca se registra.

Los modelos que leen imágenes se ajustan igual. Lo habitual es congelar la parte que lee la imagen y entrenar solo la parte de lenguaje: el modelo ya sabe ver; lo que aprende es a responder en tu formato.

En la práctica

• Pregunta primero "¿comportamiento o conocimiento?". Si es conocimiento, un fine-tune es la inversión equivocada.
• Los datos antes que el hardware. El verdadero cuello de botella es un conjunto limpio y coherente de cientos de ejemplos, y alguien responsable de mantenerlo al día.
• Revisa la licencia del modelo base antes de invertir. Varios modelos 3B de Adapta solo permiten uso no comercial (README; ver Modelos y Hugging Face).
• Planifica el ciclo de vida del adapter. Está atado a su modelo base exacto; cambiar el base implica entrenar y probar de nuevo.

Para profundizar

La documentación de Adapta recorre el mismo pipeline con ejecuciones reales (en inglés):

• Learning the system explica LoRA, QLoRA y el dataset de entrenamiento desde cero, y por qué el entrenamiento corre separado del servicio.
• Fine-tuning, proven sigue una ejecución real, un clasificador de tickets entrenado con 36 ejemplos, desde el dataset hasta un endpoint en vivo.
• Fine-tuning use cases registra ejecuciones en GPU para extracción, clasificación, un formato fijo y un control negativo, con notas sobre cómo leer los puntajes.
• Fine-tune models that read your images cubre el camino de imágenes: cómo se empaqueta el dataset, qué queda congelado y cómo se sirve el resultado.

Para llevar

• El fine-tuning cambia el comportamiento; RAG aporta conocimiento.
• LoRA entrena una pequeña corrección junto a un modelo congelado, así que los adapters pesan megabytes y un mismo base sirve muchas tareas.
• QLoRA comprime el base congelado para que el entrenamiento quepa en una tarjeta gráfica modesta.
• Entrenamiento y servicio deben usar el mismo formato de entrada, y cada adapter se prueba con ejemplos no vistos antes de salir a producción.

Comprueba lo aprendido