¿Resuelve realmente la profundidad recurrente el compromiso entre «profundidad vs. cómputo»? Sí, pero intercambia la eficiencia de memoria por una pesadilla absoluta en cuanto a estabilidad de gradientes.

La idea es seductora: en lugar de apilar 80 capas únicas como en un transformador tradicional, haces pasar la entrada por la misma capa múltiples veces. Obtienes las capacidades de razonamiento de un modelo profundo sin la huella de VRAM de un gigante. Pero como sabe cualquiera que haya intentado entrenar una red recurrente, en el momento en que empiezas a hacer bucles, tus gradientes se desvanecen en la nada o explotan hasta el infinito (y el radio espectral suele ser lo primero en romperse).

En teoría, este es el sueño para la comunidad de inferencia local. Si reutilizas pesos a través de capas «virtuales», los requisitos de VRAM para los pesos del modelo se mantienen estables mientras aumenta la profundidad efectiva. Podrías potencialmente ejecutar un modelo con el poder de razonamiento de una bestia de 70B de parámetros en un equipo que normalmente solo gestiona un 8B.

Sin embargo, el tutorial de OpenMythos se centra en los bloques de construcción —MLA, GQA y MoE disperso— dentro de un entorno de Colab. Para el desarrollador doméstico, la fricción está en el motor de inferencia. No vas a simplemente meter un modelo de profundidad recurrente en Ollama o LM Studio y esperar que funcione. Hasta que llama.cpp o vLLM añadan kernels específicos para gestionar el bucle recurrente sin penalizaciones masivas de latencia, la VRAM «ahorrada» se compensa con la sobrecarga computacional de los bucles.

Añadir un MoE disperso (Sparse Mixture of Experts) a una arquitectura recurrente es como intentar organizar una carrera de relevos donde los corredores cambian de carril en plena zancada. En un MoE estándar, enrutas tokens a expertos específicos. En una configuración de profundidad recurrente, ese enrutamiento se repite una y otra vez a través de la misma capa compartida.

El objetivo aquí es el «razonamiento escalado por bucle». Al combinar MoE disperso con profundidad recurrente, obtienes un modelo que puede decidir cuántos «ciclos» de pensamiento necesita un token antes de estar listo para ser emitido. Es una forma ingeniosa de implementar un tipo de cómputo bajo demanda. Pero hay un pero: si la lógica de enrutamiento no es perfectamente estable, el modelo termina persiguiendo su propia cola en un bucle de tonterías.

Por ahora, no. Si quieres algo que simplemente funcione, quédate con los incumbentes de pesos abiertos. Llama 3.3 y la serie Qwen3 cuentan con la ventaja de conjuntos de datos masivos y estables, así como arquitecturas tradicionales que sabemos cuantizar a formatos GGUF o EXL2 sin romperle el cerebro al modelo.

La profundidad recurrente es una apuesta arquitectónica. Intenta superar a los incumbentes cambiando la geometría fundamental del transformador. Si funciona, vuelve irrelevante la métrica del «número de parámetros», ya que un modelo recurrente pequeño podría superar en razonamiento a uno grande y estático. Pero estamos actualmente en la fase de «juguete de investigación». Sospecho que veremos un modelo de profundidad recurrente y podado en Hugging Face que supere a Llama 3.1 8B en razonamiento mientras cabe en 8 GB de VRAM en las próximas 12 semanas. Hasta entonces, es solo una forma muy interesante de quemar créditos de GPU.

Lo hace accesible para quienes les gusta escribir Python en el navegador, pero no resuelve la brecha de despliegue. El tutorial es excelente para entender las matemáticas detrás de la matriz de inyección y el radio espectral, pero hay un abismo entre un cuaderno de Colab y un archivo .safetensors listo para producción.

La verdadera pregunta es la licencia y el ecosistema. La mayoría de estos lanzamientos de «framework» acaban como notas al pie académicas porque no ofrecen una vía clara hacia la cuantización ni una forma ágil de hacer fine-tuning con datos personalizados vía QLoRA. Sin un impulso comunitario para integrar estos bucles recurrentes en las pilas de inferencia estándar, no será más que otro artículo interesante.

Es un patio de recreo para investigadores, no una herramienta de producción.