¿Tienen los LLM un problema de pensamiento grupal? Sí, pero llamarlo “pensamiento grupal” es demasiado generoso. Es más bien un “beigeo” digital de todo lo que producimos. Si pasas suficiente tiempo saltando entre Claude, GPT-4 y Gemini, empiezas a darte cuenta de que no solo convergen en los mismos hechos: convergen en la misma personalidad. Todos tienen ese mismo tono ansioso por complacer, ligeramente esterilizado, de conserje corporativo. Efectivamente, son la misma persona con tres trajes diferentes.
El problema no es solo una estética molesta. Es un colapso fundamental de la varianza. Cuando cada modelo se entrena con el mismo raspado masivo de internet, y luego se refina usando RLHF (Reinforcement Learning from Human Feedback) basado en el mismo conjunto de directrices de “útil e inofensivo”, terminas con un promedio estadístico de un ser humano. Es el equivalente de la IA a un retiro corporativo donde todos pasan cuatro horas de acuerdo con el CEO solo para llegar más rápido a la hora del cóctel.
Aquí es donde entra la startup mencionada en MIT Tech Review. La premisa es que podemos sacar a los modelos de este atolladero introduciendo mecanismos que prioricen el pensamiento divergente sobre la secuencia de tokens más probable. La idea es evitar que los modelos simplemente predigan la respuesta “más segura” y en su lugar empujarlos hacia una mayor variedad de perspectivas.
En papel, esto suena genial. En la práctica, es una lucha contra la propia naturaleza de cómo se construyen estos modelos. Los LLM son, por definición, motores de probabilidad. Están diseñados para encontrar el centro de la distribución. Pedirle a un modelo que evite la “rutina del pensamiento grupal” es esencialmente pedirle que deje de ser un motor de probabilidad. (Lo cual es un poco como pedirle a una calculadora que ocasionalmente adivine la respuesta incorrecta solo para mantener las cosas picantes.)
También está la fricción inevitable del rendimiento. Si implementas una capa que fuerza la divergencia o muestrea desde una distribución más amplia y menos probable, usualmente lo pagas en latencia o coherencia. Puedes tener un modelo que sea “original,” o puedes tener uno que no alucine un precedente legal falso en medio de un informe. Normalmente, no puedes tener ambas cosas.
Es un parche en un agujero de bala.
El problema más profundo es el riesgo del bucle de datos sintéticos. Hay una preocupación creciente entre los investigadores de que, a medida que se nos acaben los datos de internet escritos por humanos de alta calidad, la industria se verá obligada a depender de datos sintéticos: entrenar nuevos modelos con la salida de los antiguos. Esto crea un bucle de retroalimentación donde los modelos aprenden de sus propias salidas homogeneizadas. Es una dinastía digital de los Habsburg; la falta de diversidad genética fresca en los conjuntos de entrenamiento podría llevar a una forma de endogamia de modelos.
Intentar resolver esto a nivel de inferencia, ajustando cómo responde un modelo, es perder el punto. Si los pesos subyacentes se construyen sobre una base de consenso sintético, la “diversidad” que obtienes al final es solo un filtro superficial. Es la diferencia entre contratar realmente a un equipo creativo y simplemente decirle a tus drones corporativos actuales que “pensen fuera de la caja” durante una sesión de lluvia de ideas.
La única salida real es encontrar una fuente de datos que no esté ya contaminada por el proceso de “beigeo”. Eso significa pagar por archivos privados o encontrar formas de incentivar a los humanos a escribir cosas que no parezcan escritas por una IA.
Para el primer trimestre de 2027, veremos el primer gran benchmark diseñado específicamente para penalizar el comportamiento de “búsqueda de consenso” en los LLM, a medida que la industria se dé cuenta de que un modelo que siempre está de acuerdo con la mediana es inútil para la resolución real de problemas. Hasta entonces, solo estamos puliendo la superficie de una cámara de eco muy grande y muy costosa.
