Machine learning en una lección

En el software tradicional, una persona escribe las reglas: "si el pago supera 1.000, mándalo a revisión". En machine learning (ML, aprendizaje automático), nadie escribe las reglas; el sistema las deduce a partir de ejemplos. Por eso su comportamiento depende de sus datos, de cómo se midieron sus errores y de si alguien lo probó con casos que nunca vio.

Esta lección cubre las ideas sobre las que se apoya el resto del curso: cómo aprende un modelo a partir de ejemplos, qué hace el entrenamientoEntrenamiento Ajustar los pesos de un modelo a partir de datos para que sus predicciones mejoren., por qué entrenar y responder solicitudes son trabajos separados, cómo distinguir aprender de memorizar y qué es, por dentro, un modelo de lenguaje. Adapta es el caso de estudio porque mantiene estas piezas visiblemente separadas.

Aprender a partir de ejemplos

Piensa en un filtro de spam. En lugar de escribir reglas, reúnes miles de mensajes ya marcados como "spam" o "no spam" y dejas que el sistema encuentre los patrones.

Lo que aprende se llama modelo: imagina una máquina con una enorme cantidad de perillas ajustables. Las perillas son sus parámetros, o pesos, simples números, a veces miles de millones.

Cada ejemplo une una entrada, como un ticket de soporte, con la respuesta correcta, su etiqueta (label), como "facturación". Un conjunto de esos pares es un dataset. Cuando cada ejemplo trae su respuesta, hablamos de aprendizaje supervisado, el caso de esta lección. Los modelos de lenguaje aprenden de forma parecida, pero nadie escribe sus etiquetas: la "respuesta" en cada punto es simplemente el siguiente trozo del texto.

Entrenar: medir los errores y corregirlos

Entrenar es buscar la posición de las perillas que hace que las respuestas del modelo coincidan con las etiquetas. Primero hace falta una forma de puntuar los errores. La loss (función de pérdida) es un solo número que dice qué tan mal lo hizo el modelo: cuanto más baja, mejor. La loss habitual en clasificadores y modelos de lenguaje castiga más los errores seguros: estar "90% seguro" de la respuesta equivocada cuesta mucho más que un error dudoso.

Después hace falta una forma de mejorar. El descenso por gradiente es como bajar una montaña con niebla: no ves el valle, pero sientes la pendiente. Para cada perilla, las matemáticas indican en qué dirección baja la loss, y el modelo da un paso pequeño hacia allí, una y otra vez. El tamaño del paso es el learning rate (tasa de aprendizaje); una pasada completa por los datos es una epoch.

Entrenar no es servir

Cuando termina el entrenamiento, las perillas quedan fijas y el modelo empieza a responder solicitudes. Esa fase es la inferenciaInferencia Ejecutar un modelo entrenado para producir una salida a partir de una entrada nueva., o el servicio. Las dos fases son muy distintas:

El servicio tiene su propia lección: Servir modelos.

Aprender o memorizar

Un estudiante que memoriza el examen del año pasado puede sacar la nota máxima en ese y reprobar uno nuevo. Con los modelos pasa lo mismo. Lo que importa es la generalizaciónGeneralización Que un modelo funcione bien con datos que no vio durante el entrenamiento.: acertar con datos nuevos del mismo tipo. Por eso los datos se dividen, y cada parte tiene una sola función:

• Conjunto de entrenamiento (train): ajusta los parámetros.
• Conjunto de validación: compara configuraciones y decide cuándo parar.
• Conjunto de prueba (test): se usa una vez, al final, para estimar el rendimiento real. Si sigue influyendo en las decisiones, el sistema se va ajustando a él y deja de ser una prueba.

El overfittingOverfitting Que un modelo memorice sus datos de entrenamiento en lugar de aprender patrones que generalicen. (sobreajuste) es memorizar en vez de aprender: la loss sobre los datos de entrenamiento sigue bajando mientras la de validación empieza a subir. El underfitting es lo contrario: el modelo ni siquiera aprendió los datos de entrenamiento. En el esquema de abajo, fíjate dónde se separan las dos líneas.

loss
 |\
 | \        ___ validación
 |  \______/
 |   \
 |    \______ entrenamiento
 +------------------ tiempo de entrenamiento
        ^ aquí conviene parar

Las métricas y comparaciones se tratan en Evaluar modelos.

Redes neuronales y transformers

Una red neuronal es un modelo hecho de capas. Cada capa hace un cálculo simple y pasa el resultado a la siguiente. Apiladas, capas simples pueden capturar patrones muy complejos, y el descenso por gradiente las ajusta todas a la vez.

Un transformerTransformer El diseño de red neuronal de 2017 detrás de los LLM actuales, construido alrededor de la atención y capaz de procesar todos los tokens de un texto a la vez. es el tipo de red detrás de los grandes modelos de lenguaje (LLMLLM Large language model: red neuronal entrenada para predecir el siguiente token y ajustada para seguir instrucciones.) actuales. Su idea clave es la atención: por cada palabra que procesa, el modelo pondera cuánto importa cada palabra anterior. Así relaciona un "él" con el sustantivo correcto. Un LLM es un transformer entrenado para predecir el siguiente tokenToken Pedacito de texto, a menudo parte de una palabra, que el modelo lee y escribe y por el que cobran los proveedores., una palabra o un trozo de palabra. Generar texto es repetir esa predicción, un token a la vez.

El pretraining (preentrenamiento) consiste en entrenar un modelo desde cero con una enorme cantidad de texto; requiere clústeres de GPU y presupuestosPresupuesto Límite duro sobre tokens, llamadas, tiempo o dinero, aplicado antes de gastar el recurso. que pocas organizaciones tienen, y produce un modelo base. El fine-tuningFine-tuning Seguir entrenando un modelo preentrenado con tus propios ejemplos para cambiar cómo se comporta. continúa el entrenamiento de un modelo base con un dataset pequeño para cambiar su comportamiento: formato, tono o cómo clasifica. Casi ningún equipo de producto hace pretraining. Las opciones realistas son buenos promptsPrompt Todo lo que se envía al modelo en una llamada: instrucciones, mensajes de la conversación y las definiciones de herramientas, si las hay., darle conocimiento al modelo cuando llega la pregunta (Embeddings y RAG) o un fine-tuning eficiente (Fine-tuning, LoRA y QLoRA).

En la práctica

• Define quién custodia los datos de evaluación. Si quienes entrenan también eligen y reutilizan el conjunto de prueba, los resultados se inflan sin que nadie mienta.
• Mantén un conjunto reservado y versionado, que nunca se use para entrenar ni ajustar, y mide sobre él el modelo sin cambios como referencia.
• Escribe el criterio de aprobación antes de entrenar, no después de ver los números.

Para profundizar

La documentación de Adapta cubre estos fundamentos con su propio código como ejemplo (en inglés):

• Learning the system explica desde cero qué es un modelo de lenguaje, por qué el entrenamiento corre en un worker aparte y cómo el control de evaluación decide si un modelo nuevo puede servir.
• Architecture presenta los contenedores de Adapta y sigue un trabajo de entrenamiento paso a paso, desde la cola hasta un endpoint en funcionamiento.
• Stack and decisions explica por qué se eligió cada componente, incluidas las librerías de entrenamiento, la cola de trabajos y el control de evaluación.

Para llevar

• Un modelo es un conjunto de parámetros ajustados a partir de ejemplos; su comportamiento depende de los datos tanto como del código.
• Entrenar baja una loss paso a paso; servir usa el resultado ya fijo. Difieren en hardware, costo y forma de fallar.
• Solo el rendimiento sobre datos con los que el modelo no entrenó muestra si generaliza.
• Un LLM es un transformer entrenado para predecir el siguiente token; busca lo plausible, no lo verdadero.
• Casi nadie hace pretraining: se elige entre prompting, RAG y fine-tuning sobre un modelo base.

Comprueba lo aprendido