Los usamos todos los días, pero la mayoría de nosotros no entendemos cómo funcionan los modelos de lenguaje de gran tamaño (LLM). Es un problema que debemos resolver, considerando que los utilizamos tanto en nuestro entorno profesional y académico como en el personal.
Con frecuencia, escuchamos decir que un modelo “piensa”, “razona” o “cree”, lo que describe sus procesos de manera errónea. Necesitamos desmontar ese espejismo y comprender las bases de la arquitectura Transformer y la matemática que subyacen en los LLM. Estas herramientas no van a desaparecer y, sin duda, su uso se profundizará en los próximos años.
1. Un modelo de lenguaje no piensa: predice
Los LLM no tienen procesos cognitivos, aunque parezca que los desarrollan para llegar a sus respuestas. Un LLM es, esencialmente, una función matemática gigantesca y compleja que calcula probabilidades condicionales. Su objetivo durante la inferencia es completar un patrón secuencial.
El modelo de lenguaje calcula la probabilidad de que un token específico sea el siguiente, dado el contexto de los tokens anteriores. Esto anula por completo el mito de que existe un “yo pensante” que toma decisiones o una conciencia que evalúa la veracidad de la respuesta entregada.
De igual forma, no existe un plan predefinido sobre la estructura de la respuesta. El modelo genera el primer token y, después, el segundo con base en el contexto acumulado, y así sucesivamente. Pensemos en ello como un bucle autorregresivo. Con esta idea clara, sabemos que cada generación condiciona las siguientes, lo que explica por qué un error temprano se propaga y se amplifica conforme avanza.
No hay ningún proceso de reflexión humana, sino que la inteligencia del modelo se reduce simplemente a una destreza estadística de un orden superior.
2. Los modelos trabajan con tokens, no con palabras completas
Otra equivocación frecuente es pensar que los LLM tienen las palabras como unidad básica de la secuencia. Contrario a esta idea intuitiva, los tokens son los protagonistas. De manera general, un token es una unidad subpalabra que resulta de un proceso de segmentación conocido como tokenización.
Los sistemas actuales, como Byte Pair Encoding o SentencePiece, dividen el texto entregado en fragmentos frecuentes. Esta división es necesaria para lograr una mayor eficiencia computacional y manejar un vocabulario amplio. Si los sistemas estuvieran basados en palabras completas, tendrían que contener millones de entradas para abarcar todas las flexiones, los compuestos y los neologismos.
Bajo el enfoque matemático actual, es posible la representación de cualquier palabra, incluso si se trata de un término inventado. A la par, optimiza el uso del contexto, ya que la mayoría de los idiomas ocupan entre 1.2 y 1.4 tokens por palabra. Cuando un usuario escribe, su entrada pasa por el filtro de tokenización antes de avanzar con el procesamiento a cargo del modelo.
3. El texto se convierte en números: embeddings
Los modelos de lenguaje solo procesan números, no caracteres. Entonces, ¿qué sigue a la tokenización del texto? Cada uno de estos elementos recibe un identificador numérico (ID) dentro del vocabulario. Se trata de una simple etiqueta que no contiene información semántica ni posicional. Aquí entran en juego los llamados embeddings.
Un embedding es una representación numérica que captura el significado de una palabra, frase o texto completo, de modo que elementos con significado similar quedan “cerca” en un espacio matemático. Es un vector denso de números de coma flotante; no es estático sino contextual. En los LLM modernos, el embedding del token se actualiza de forma dinámica según los tokens que le rodean.
Para resolver el problema del orden, el modelo suma un embedding posicional (ya sea mediante funciones seno/coseno fijas o mediante posiciones aprendidas durante el entrenamiento). El resultado de esto es una matriz de vectores que codifica no solo lo que dice el texto, sino el orden y el contexto en el que aparece cada pieza.
4. El mecanismo de atención: la clave de la coherencia
Hasta ahora, sabemos que las primeras etapas del proceso son la tokenización y la generación de embeddings. Si estos últimos son la representación, el mecanismo de atención es el motor que permite que el modelo establezca relaciones entre ellos. Se sitúa en la base de la arquitectura Transformer.
La atención escalada por producto punto funciona de esta forma: para cada token, el modelo genera tres vectores a partir de su embedding, una Query, una Key y un Value. La atención calcula relevancia de cada token del contexto respecto al token actual multiplicando la Query de este por las Keys de los demás. Ese producto se normaliza mediante la función softmax para obtener un peso de atención. Finalmente, se calcula una suma ponderada de los Values de todos los tokens, usando esos pesos.
Sabemos que esta descripción técnica resulta complicada y, en muchos casos, será difícil de comprender para distintos perfiles profesionales; sin embargo, vale la pena tener una idea de lo que pasa bajo el capó de la inteligencia artificial generativa. La atención permite que el modelo, al predecir el siguiente token, mire directamente cualquier elemento previo, sin importar su distancia en el texto, y extraiga la información relevante.
Los modelos de lenguaje modernos utilizan multi-head attention —múltiples cabezas de atención en paralelo—, cada una especializada en capturar distintos tipos de relaciones sintácticas y semánticas. Esto dota a los modelos de una riqueza de conexiones internas sorprendente.
5. El entrenamiento es estadístico, no conceptual
El entrenamiento de un LLM no consiste en aprender conceptos, sino en un ejercicio de estadística aplicada. Para este proceso se utiliza un corpus masivo de texto, integrado por billones de tokens, con una única tarea: predecir el siguiente token. En cada secuencia de entrenamiento, se oculta el último token y se compara la predicción del modelo con el token real, calculando una función de pérdida.
El algoritmo de retropropagación ajusta los miles de millones de pesos de la red para minimizar esa pérdida. Al repetir el proceso billones de veces, el modelo perfecciona el mapeo de patrones sintácticos, gramaticales y semánticos, así como las correlaciones estadísticas entre palabras. Por ejemplo, predice que “París” suele ir seguido de “es la capital de Francia” porque esa secuencia aparece con una frecuencia elevada en sus datos; no “aprende” que París es la capital del país. En pocas palabras, asimila la probabilidad condicional de que esas palabras aparezcan juntas.
Las fases posteriores, como el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo con retroalimentación humana (RLHF), no alteran esta esencia. Lo que hacen es recalibrar las distribuciones de probabilidad para alinearlas con preferencias humanas —tono, formato, utilidad y seguridad—, pero el sustrato sigue siendo una gigantesca red de correlaciones lingüísticas, no una enciclopedia razonada.
6. La generación es probabilística, no determinista
Si el entrenamiento es un ejercicio estadístico, la generación de contenido (inferencia) es un ejercicio de muestreo probabilístico. La última capa (cabeza de salida) produce un vector de logits (puntuaciones en bruto) del mismo tamaño que el vocabulario. Mediante una función softmax, esos logits se convierten en una distribución de probabilidad: cada token posible tiene asignada una probabilidad de ser el siguiente.
El paso importante es cómo se elige el token final entre esa distribución. Si el modelo siempre eligiera el token con mayor probabilidad —muestreo greedy—, la generación sería determinista; es decir, la misma entrada produciría siempre la misma salida. Sin embargo, para que el texto sea diverso y no caiga en bucles repetitivos, se utilizan estrategias estocásticas.
Aquí surgen conceptos clave como la temperatura, un parámetro que divide los logits antes de aplicar softmax. Una temperatura baja acentúa las diferencias y hace más probable la elección del token con mayor puntuación; en consecuencia, produce un texto más conservador. Una temperatura alta suaviza la distribución e incrementa la probabilidad de tokens menos probables, lo que da paso a textos más creativos, pero también eleva el riesgo de incoherencias.
7. Por qué ocurren las alucinaciones en los LLM
Las alucinaciones de la IA son casos en los que el modelo genera un texto fluido, impecable en el plano gramatical y coherente, pero factualmente falso o sin relación con la realidad. Este fenómeno no es un fallo accidental, sino una consecuencia directa y estructural de su naturaleza probabilística y estadística.
Las causas principales de la aparición de alucinaciones son:
- Mimetismo estadístico forzado: El modelo ha visto patrones en los que ciertas combinaciones de tokens son altamente probables, pero no corresponden a hechos reales.
- Falta de un mecanismo de verificación durante la inferencia: El modelo no tiene acceso a una base de datos externa ni a un motor de razonamiento lógico durante la generación. Esto quiere decir que no puede revisar sus propias memorias ni contrastar información.
- Conflicto y sesgo en los datos del entrenamiento. El corpus del entrenamiento contiene contradicciones, información desactualizada y bulos. El modelo promedia esas distribuciones.
- Presión por completar la tarea. Durante el entrenamiento instructivo, el modelo es reforzado para siempre dar una respuesta útil y completa, incluso ante preguntas imposibles o sin información. Esta presión lo orilla a inventar antes de declarar su ignorancia.
Conclusión: los LLM no entienden, predicen
La idea central de este artículo es que los LLM no tienen comprensión semántica en el sentido humano, sino que son potentes motores de predicción estadística. Para funcionar eficazmente, necesitan entrenarse con cantidades ingentes de texto, a fin de internalizar las complejas reglas de la sintaxis, la gramática y las asociaciones discursivas.
La coherencia deriva de su mecanismo de atención, capaz de tejer relaciones contextuales; la “creatividad” emana del muestreo probabilístico con temperatura, y sus “errores” son el resultado inevitable de un modelo estadístico aplicado a un mundo que no es puramente estadístico. Comprender cómo funcionan los modelos de lenguaje permite utilizarlos con mejores expectativas, criterios de verificación y responsabilidad.
