Embeddings y RAG

Un LLMLLM Large language model: red neuronal entrenada para predecir el siguiente token y ajustada para seguir instrucciones. solo sabe lo que vio durante su entrenamientoEntrenamiento Ajustar los pesos de un modelo a partir de datos para que sus predicciones mejoren.. No conoce tu manual interno ni la política de reembolsos que cambió el martes. Reentrenarlo cada vez que cambia un documento no es viable, y pegar todos tus documentos en el promptPrompt Todo lo que se envía al modelo en una llamada: mensajes con rol y definiciones de herramientas. tampoco: no caben y, si cupieran, costarían demasiado.

RAGRAG Retrieval-augmented generation: recuperar fragmentos relevantes e insertarlos en el contexto antes de que el modelo responda. (Retrieval-Augmented Generation) resuelve esto de una forma sencilla: antes de preguntarle al modelo, buscamos los fragmentos relevantes de tus documentos y se los damos como contexto, con instrucciones de citarlos. Los pesos del modelo no cambian. Veamos cómo se construye cada pieza y dónde suele romperse.

Embeddings y similitud

Un embeddingEmbedding Vector de números que representa el significado de un texto; vectores cercanos indican contenido similar. es un vector de números (cientos de dimensiones) que representa el significado de un texto. Un modelo de embeddings (un bi-encoder) se entrena para que textos con significado parecido queden cerca en ese espacio: "¿cuánto tarda el reembolso?" y "plazo de devolución del dinero" apuntan en direcciones similares aunque no compartan palabras.

La cercanía se mide casi siempre con similitud coseno: el coseno del ángulo entre dos vectores, de −1 a 1. Muchas bases vectoriales reportan la distancia coseno, que es 1 − similitud.

consulta ──► embedding ──► [0.12, -0.40, ..., 0.07]
                                   │ coseno
chunks   ──► embeddings ──► índice vectorial ──► top-N más cercanos

Un vector store guarda esos vectores con un índice de vecinos cercanos aproximados (HNSW es el más común) y los metadatos de cada fragmento: archivo de origen, posición, permisos.

Ingestión: parseo y chunking

La ingestión convierte archivos en fragmentos indexados: extraer texto (PDF, DOCX, HTML), partirlo en chunks, calcular embeddings y guardarlos. El chunkingChunking Dividir documentos en fragmentos del tamaño adecuado para embeddings y recuperación. importa más de lo que parece:

• Chunks demasiado grandes diluyen el significado: el vector promedia varios temas y no se parece a ninguna pregunta concreta.
• Chunks demasiado pequeños pierden contexto: "el plazo es de 30 días" sin saber de qué plazo habla.
• Overlap: repetir un poco de texto entre chunks consecutivos evita que una idea quede partida justo en el borde.

Recuperación híbrida

La búsqueda vectorial falla con términos exactos: un SKU como QX-4471, un apellido o un número de artículo no tienen un "significado" que el embedding capture bien. La búsqueda por palabras clave hace justo lo contrario: encuentra coincidencias literales y no entiende sinónimos.

BM25BM25 Función clásica de ranking por palabras clave, usada junto a la búsqueda vectorial para no perder términos exactos. es el ranking clásico por palabras: premia los términos de la consulta que aparecen en el documento (con rendimiento decreciente si se repiten), pondera más los términos raros en el corpus (IDF) y penaliza documentos largos. Postgres full-text, Elasticsearch u OpenSearch ofrecen esta familia de rankings.

Reciprocal Rank Fusion

Los puntajes de BM25 y de coseno no son comparables, así que no se suman. RRF combina posiciones, no puntajes:

RRF(d) = Σ  1 / (k + rank_r(d))      k = 60, rank empieza en 1
         r

Cada lista r que contiene al documento d le aporta más cuanto más arriba esté. Un chunk que aparece alto en ambas listas gana. La constante k amortigua la ventaja del primer puesto.

Esta es la implementación real en Adapta (adapta/services/rag.py, sin el docstring):

def _rrf_fuse(*rank_lists: list[int], k: int = 60) -> list[int]:
    rrf: dict[int, float] = {}
    for ranks in rank_lists:
        for rank, idx in enumerate(ranks):
            rrf[idx] = rrf.get(idx, 0.0) + 1.0 / (k + rank + 1)
    return sorted(rrf, key=lambda i: rrf[i], reverse=True)

Reranking con cross-encoder

Un cross-encoder recibe el par (consulta, pasaje) junto y produce un puntaje de relevancia. Es mucho más preciso que el bi-encoder porque compara ambos textos tokenToken Unidad de subpalabra con la que el modelo lee, escribe y cobra. a token, pero también mucho más lento, así que solo se aplica a los mejores candidatos que ya salieron de la fusión.

Grounding y citas

Recuperar no basta: el modelo tiene que usar lo recuperado. El patrón habitual es numerar los chunks en el system prompt, pedir que responda con ese contexto y cite por número, y devolver al cliente la lista de fuentes para verificar.

Cuando RAG falla

Antes de culpar al modelo, separa dos preguntas: ¿el fragmento correcto llegó al contexto? ¿El modelo lo usó bien?

Ojo con el último: vectores de dos modelos distintos no son comparables, así que cambiar de modelo exige reindexar todo.

Seguridad en la ingestión

Todo archivo subido es entrada hostil. Un zip bomb declara un tamaño pequeño y se descomprime a gigabytes; un zip slip usa rutas como ../../etc/cron.d/x para escribir fuera del directorio destino. Y el texto de un documento puede contener instrucciones dirigidas al modelo (prompt injectionPrompt injection Ataque en el que un texto adversario, directo o dentro de datos procesados, altera lo que hace el modelo. indirecta; lo vemos en Sandboxing y seguridad de agentes).

Para CTOs

• Mide la recuperación por separado. Sin un golden setGolden set Conjunto pequeño de entradas con respuestas aprobadas por expertos para decidir si un sistema está listo. de preguntas con su documento esperado, no sabrás si un cambio mejoró algo. Lo tratamos en Evaluar modelos.
• Decide dónde viven los vectores. Si ya operas Postgres, pgvector evita un sistema más; un vector store dedicado se justifica por escala o funciones concretas.
• Idioma. Muchos modelos de embeddings y rerankers por defecto están entrenados en inglés. Con contenido en español, elige y mide modelos multilingües.
• Permisos. Si no todos pueden ver todos los documentos, el filtro de acceso va en la recuperación, no en el prompt.

Para llevar

• RAG da conocimiento sin tocar pesos: recuperar, inyectar como contexto y citar.
• La búsqueda vectorial capta significado; BM25 capta términos exactos. RRF los combina por posición y un cross-encoder reordena los mejores.
• El chunking y la frescura del índice causan tantos fallos como el modelo.
• Diagnostica separando fallo de recuperación de fallo de generación.
• La ingestión es una superficie de ataque: limita tamaños, rutas y bytes reales.

Comprueba lo aprendido