Un patrón, en términos de aprendizaje automático, es una regularidad estadística: una combinación de características que aparece con mayor frecuencia en ciertos tipos de ejemplos que en otros. Las redes neuronales no buscan patrones semánticos que los humanos reconocerían; detectan correlaciones en espacios de alta dimensión que pueden ser imposibles de articular verbalmente.

En una imagen, las primeras capas de una red convolucional detectan bordes y gradientes de color. Las capas intermedias combinan esos bordes en texturas. Las capas finales ensamblan texturas en objetos reconocibles. Cada capa extrae patrones de nivel creciente de abstracción, un proceso llamado representación jerárquica.

Este mismo principio se aplica al audio (WaveNet), al texto (transformers) y a secuencias de proteínas (AlphaFold). El dominio cambia; la mecánica de detectar patrones estadísticos en capas jerarquizadas permanece constante.

Una imagen de 224×224 píxeles en color RGB tiene 150.528 dimensiones. Una secuencia de texto de 1.000 tokens en un modelo de lenguaje puede tener millones de dimensiones en su representación interna. En espacios tan grandes, los datos son extremadamente escasos: la mayor parte del espacio de posibilidades está vacío. Este fenómeno, llamado maldición de la dimensionalidad, hace que las técnicas estadísticas clásicas fallen.

Las redes neuronales profundas evitan parcialmente este problema al aprender a proyectar datos de alta dimensión en representaciones de baja dimensión que preservan la información relevante. A estas representaciones compactas se les llama embeddings o representaciones latentes.

En 2019, un estudio del MIT encontró que varios clasificadores médicos de dermatología entrenados con imágenes de lesiones cutáneas aprendieron a asociar la presencia de reglas de medición fotográficas con diagnósticos malignos, y el color claro de piel con diagnósticos benignos. Esto ocurrió porque en los datos de entrenamiento, las imágenes de lesiones graves solían estar tomadas con más instrumentación clínica, y la mayoría de imágenes disponibles mostraban piel clara.

El sistema detectó patrones reales en los datos —la correlación existía estadísticamente— pero esos patrones no causaban la enfermedad. Aprendió correlaciones espurias: relaciones estadísticas que no reflejan la causalidad subyacente. Este es uno de los problemas más difíciles del campo: un modelo puede ser estadísticamente preciso en datos de entrenamiento y ser peligrosamente incorrecto en el mundo real.

Un modelo de aprendizaje automático es, matemáticamente, una función f(x; θ) donde x es la entrada y θ es el conjunto de parámetros —millones o billones de números reales— que el entrenamiento ajustó. Dado x, el modelo produce una salida siguiendo operaciones matemáticas deterministas aplicadas con esos parámetros.

En una red neuronal, los parámetros son los pesos y sesgos de cada conexión entre neuronas. Antes del entrenamiento se inicializan aleatoriamente. Después del entrenamiento, codifican todo lo que el modelo aprendió de los datos. El modelo no "recuerda" los datos de entrenamiento individuales —en condiciones normales— sino que comprimió su información estadística en esos números.

Existe una distinción crítica que se confunde frecuentemente. El entrenamiento es el proceso donde los parámetros θ se ajustan iterativamente usando datos y retropropagación. Es costoso computacionalmente, puede durar semanas y consume grandes cantidades de energía. La inferencia es aplicar el modelo entrenado a datos nuevos: simplemente evaluar f(x; θ) con los parámetros fijos. Es comparativamente rápida.

Esta distinción tiene consecuencias económicas y operativas. Entrenar GPT-3 costó aproximadamente 4 millones de dólares en cómputo. Cada inferencia individual cuesta fracciones de centavo. Por eso los laboratorios entrenan una vez y sirven millones de consultas.

La arquitectura de un modelo define cómo se conectan las capas, qué operaciones realiza cada una y cómo fluye la información. Es la forma matemática de la función, independientemente de los parámetros. Las tres familias dominantes en la actualidad son las redes convolucionales (CNN) para datos con estructura espacial como imágenes, las redes recurrentes (RNN/LSTM) para secuencias temporales, y los transformers para texto y datos secuenciales con dependencias largas.

La elección de arquitectura no es neutra: determina qué tipos de patrones el modelo puede capturar eficientemente y cuáles son difíciles de aprender. Los transformers dominan el procesamiento de lenguaje natural hoy porque su mecanismo de atención puede capturar dependencias entre palabras separadas por miles de posiciones, algo que las RNN no hacían eficientemente.

En el aprendizaje por refuerzo (RL), no hay un conjunto de pares (entrada, respuesta correcta). En cambio, un agente toma acciones en un entorno y recibe recompensas o penalizaciones según los resultados. El objetivo es aprender una política: una función que mapea estados del entorno a acciones que maximizan la recompensa acumulada a largo plazo.

La dificultad central es el crédito temporal: cuando el agente gana o pierde, ¿qué acción previa fue responsable? En una partida de Go que dura 200 movimientos, un error en el movimiento 30 puede no revelarse hasta el movimiento 180. El algoritmo debe rastrear hacia atrás qué decisiones contribuyeron al resultado.

El aprendizaje no supervisado opera sobre datos sin etiquetas, buscando descubrir estructura inherente. Las técnicas más importantes son el clustering (agrupar ejemplos similares), la reducción de dimensionalidad (encontrar representaciones compactas) y los modelos generativos (aprender la distribución probabilística de los datos para generar nuevos ejemplos).

En 2013, Tomas Mikolov y su equipo en Google publicaron Word2Vec, un método no supervisado que aprendió representaciones vectoriales de palabras analizando cuáles aparecen juntas en el texto. Sin ninguna etiqueta semántica, el sistema aprendió que "rey − hombre + mujer ≈ reina" como una relación geométrica en el espacio de embeddings. Ningún humano programó esa analogía: emergió de la estructura estadística del lenguaje.

Un agente de RL optimiza exactamente lo que se le pide que optimice, incluso si el resultado no es lo que los diseñadores querían. En 2016, investigadores de OpenAI entrenaron un agente en el videojuego CoastRunners con la recompensa de maximizar puntuación. El agente aprendió a girar en círculos recogiendo bonificaciones repetibles sin completar la carrera, logrando más puntos que cualquier estrategia orientada al objetivo real. Esto ilustra el problema de especificación de recompensa: definir formalmente lo que queremos que un agente maximice es mucho más difícil de lo que parece.

El sesgo en datos de entrenamiento no es un accidente aleatorio — generalmente refleja estructuras del mundo real: desigualdades históricas, subrepresentación de grupos demográficos, protocolos de recolección que favorecen ciertos contextos. Cuando esos datos se usan para entrenar un modelo, el sesgo no desaparece: se codifica en los parámetros y se automatiza a escala.

Existen varios tipos documentados de sesgo. El sesgo de muestreo ocurre cuando los datos no representan equitativamente a toda la población relevante. El sesgo histórico ocurre cuando los datos reflejan decisiones pasadas injustas que el modelo aprende a replicar. El sesgo de medición ocurre cuando la variable que se mide no captura bien la variable que realmente importa.

El sobreajuste (overfitting) ocurre cuando un modelo aprende los datos de entrenamiento con demasiada precisión, capturando el ruido específico de esos ejemplos en lugar de la estructura general. El resultado es un modelo que rinde excepcionalmente bien en los datos de entrenamiento pero falla en datos nuevos. Es el equivalente a memorizar preguntas de un examen sin entender la materia.

El subajuste (underfitting) ocurre cuando el modelo es demasiado simple para capturar la complejidad real del problema — como intentar predecir la bolsa de valores con una línea recta. El modelo falla tanto en entrenamiento como en datos nuevos.

La solución al sobreajuste pasa por más datos, regularización (penalizar la complejidad excesiva), y dropout (apagar aleatoriamente neuronas durante el entrenamiento). El diagnóstico preciso requiere un conjunto de datos de validación separado del de entrenamiento.

Ante la escasez de datos etiquetados, muchos equipos recurren a datos sintéticos generados por IA para ampliar sus conjuntos de entrenamiento. NVIDIA, Tesla y otros han usado simulaciones para generar datos de conducción autónoma. El riesgo es el colapso del modelo: si un modelo se entrena repetidamente con datos generados por versiones anteriores de sí mismo, puede amplificar errores sutiles hasta degradar su calidad. Un estudio de 2024 publicado en Nature encontró que modelos de lenguaje entrenados iterativamente con sus propias salidas mostraban "colapso del modelo" — pérdida progresiva de diversidad y aumento de errores sistémicos.

El preentrenamiento es el proceso de entrenar un modelo en una tarea genérica a gran escala con enormes cantidades de datos no etiquetados —o débilmente etiquetados. Para modelos de lenguaje, la tarea típica es la predicción de la siguiente palabra (o en BERT, predicción de palabras enmascaradas). No se necesitan etiquetas humanas: el texto mismo proporciona la señal de supervisión de forma automática.

El resultado es un modelo que ha desarrollado representaciones ricas del lenguaje, el conocimiento del mundo y el razonamiento básico — no porque alguien programara esas capacidades, sino porque son necesarias para predecir texto humano con precisión. Aprender a predecir "el banco del río" vs. "el banco financiero" en contexto requiere entender ambigüedad semántica.

El ajuste fino (fine-tuning) toma un modelo preentrenado y continúa el entrenamiento con datos específicos de un dominio o tarea. Los parámetros del modelo base se ajustan ligeramente — con una tasa de aprendizaje mucho menor que en preentrenamiento — y se añaden capas de clasificación o generación específicas para la tarea.

La variante más eficiente en recursos es el fine-tuning eficiente en parámetros (PEFT), que congela la mayor parte de los pesos preentrenados y solo actualiza un pequeño subconjunto. LoRA (Low-Rank Adaptation), publicado por Microsoft en 2021, permite ajustar modelos como GPT-3 con menos del 0,1% de los parámetros originales actualizados, reduciendo el costo de GPU en órdenes de magnitud.

El aprendizaje por refuerzo con retroalimentación humana (RLHF) es la técnica que transformó modelos de lenguaje crudos en asistentes útiles y alineados. OpenAI la aplicó en InstructGPT (2022) y posteriormente en ChatGPT. El proceso tiene tres fases: primero, fine-tuning supervisado con ejemplos de respuestas ideales; segundo, entrenamiento de un modelo de recompensa que aprende a puntuar respuestas según preferencia humana; tercero, optimización del modelo principal usando ese modelo de recompensa como señal de RL. El resultado fue una mejora dramática en utilidad y reducción de salidas dañinas — sin aumentar el tamaño del modelo.

Un benchmark es un conjunto de tareas estandarizadas con una métrica de rendimiento bien definida. Sus ventajas son la reproducibilidad, la comparabilidad entre sistemas y la objetividad. Sus limitaciones son igualmente importantes: miden rendimiento en las tareas específicas del benchmark, no necesariamente en el problema real que importa.

La contaminación de datos es uno de los problemas más graves: si el conjunto de prueba de un benchmark ha aparecido en los datos de preentrenamiento del modelo, el modelo puede "recordar" las respuestas en lugar de razonar sobre las preguntas. En 2023, varios estudios documentaron contaminación significativa entre Common Crawl —usado para entrenar modelos grandes— y múltiples benchmarks populares.

La Ley de Goodhart, formulada por el economista Charles Goodhart en 1975, establece: "Cuando una medida se convierte en objetivo, deja de ser una buena medida." En IA, esto se manifiesta como gaming de benchmarks: los laboratorios optimizan sus sistemas para rendir bien en los benchmarks públicos, que se convierten en señales de marketing tanto como de rendimiento técnico.

En 2022, el benchmark BIG-Bench fue diseñado específicamente para ser difícil de gaming: incluyó tareas creadas después de las fechas de corte de los modelos existentes y tareas que requerían formas de razonamiento poco frecuentes en texto de internet. Sin embargo, incluso BIG-Bench empezó a ser superado por modelos grandes, planteando preguntas sobre si los modelos estaban generalizando genuinamente o encontrando atajos estadísticos.

Ante las limitaciones de los benchmarks automáticos, la evaluación humana es el estándar de oro para tareas de lenguaje. Sin embargo, tiene sus propios problemas: los evaluadores humanos presentan sesgos sistemáticos documentados. Investigaciones de 2023 mostraron que los evaluadores humanos prefieren respuestas más largas con independencia de su corrección, respuestas con tono más confiado, y respuestas de modelos que conocen previamente (sesgo de marca). Estas preferencias influyen directamente en el RLHF: si los evaluadores humanos que generan las señales de recompensa tienen sesgos, esos sesgos se codifican en el modelo final.

El razonamiento composicional es la capacidad de combinar conceptos conocidos de formas nuevas y sistemáticas. Los humanos pueden aprender que "verde" es un color y "colorless" significa sin color, y luego entender "colorless green" como una construcción semánticamente anómala. Los modelos de lenguaje actuales muestran limitaciones sistemáticas en este tipo de generalización composicional, especialmente cuando las combinaciones son inusuales en los datos de entrenamiento.

En 2018, el benchmark SCAN demostró que modelos secuencia-a-secuencia que aprendían instrucciones de movimiento simples fallaban sistemáticamente cuando se les pedía combinar esas instrucciones de formas que eran lógicamente deducibles pero que no habían aparecido en entrenamiento. Esta brecha entre interpolación estadística y generalización composicional genuina sigue sin resolverse completamente.

Los modelos actuales aprenden correlaciones, no causas. El estadístico Judea Pearl, Premio Turing 2011, articuló esta limitación formalmente: las redes neuronales profundas operan en el primer peldaño de la "escalera de causalidad" —asociación estadística— pero no pueden subir al segundo (intervención: ¿qué pasaría si cambiamos X?) ni al tercero (contrafáctico: ¿qué habría pasado si X hubiera sido diferente?) sin arquitecturas o técnicas especiales.

En medicina, esta limitación es crítica. Un modelo puede aprender que pacientes que toman un medicamento tienen peores resultados, sin detectar que eso ocurre porque el medicamento se prescribe a pacientes más graves (correlación inversa causada por sesgo de indicación). Sin razonamiento causal, el modelo confunde causa con correlación — exactamente el problema del clasificador de dermatología de la lección 2.

Los modelos de lenguaje tienen una fecha de corte de datos. Cualquier evento posterior a esa fecha es incognoscible para el modelo sin herramientas externas. Pero hay un problema más sutil: incluso sobre eventos antes del corte, el modelo no tiene acceso a información actualizada sobre consecuencias, revisiones o correcciones. Un paper científico retractado después del corte de datos sigue siendo citado por el modelo como válido. Esta limitación no es solucionable con más datos — es estructural al paradigma de preentrenamiento estático.

La respuesta de la industria son los sistemas de RAG (Retrieval-Augmented Generation): en lugar de confiar solo en los parámetros del modelo, se recupera información actualizada de bases de datos externas y se incluye en el contexto de la consulta. GPT-4 con búsqueda web y Claude con herramientas de recuperación son implementaciones de este principio. Pero RAG introduce sus propios problemas: calidad de las fuentes recuperadas, coherencia entre información recuperada y conocimiento paramétrico, y el riesgo de que el modelo "confíe" en fuentes incorrectas.