Cómo generan texto los modelos de lenguaje grandes: tokens, predicción del siguiente token y preentrenamiento

Los modelos de lenguaje grandes (LLM) son los motores detrás de la mayor parte de la IA generativa. Son redes neuronales basadas en transformers con miles de millones de parámetros, entrenadas con enormes cantidades de texto. Entender cómo producen texto explica tanto en qué son buenos como por qué a veces se equivocan.