Investigación
Papers que sí importan
49 artículos en esta sección.
Un análisis del paper de POLARIS y su enfoque para prevenir la degradación de la calidad y el colapso estructural en la escritura creativa en textos largos para modelos pequeños.
AURA introduce una memoria con gating de acción para evitar el desbordamiento de VRAM en robots, permitiendo que las políticas a largo plazo se ejecuten de forma indefinida sin crashear ni alucinar.
Explora cómo la Terminación Adaptativa en Tiempo de Ejecución (ART) reduce los cuellos de botella del ancho de banda de memoria para mejorar el rendimiento de tokens durante la inferencia de LLMs con contexto largo.
BitsMoE utiliza la energía espectral para guiar una asignación de bits no uniforme, lo que potencialmente permitiría que modelos MoE masivos quepan en GPUs de consumo.
EAGLE 3.1 aborda la deriva de atención para ofrecer un throughput más consistente y predecible en la inferencia de LLMs mediante decoding especulativo.
El sistema OSCAR de Together AI utiliza rotaciones conscientes de la atención para comprimir los KV cache a 2 bits, ampliando significativamente las ventanas de contexto en GPUs de consumo.
Un estudio de ByteDance sugiere que entrenar modelos multimodales mediante preguntas y respuestas supera a los métodos basados en transcripción para analizar documentos largos y complejos.
Un análisis de la profundidad recurrente y el MoE disperso como forma de intercambiar eficiencia de memoria por estabilidad de gradientes en arquitecturas de transformadores.
Un nuevo estudio explora el uso de verificación en múltiples pasos para recuperar la precisión perdida en modelos cuantizados de 2 y 3 bits, aunque los críticos argumentan que se trata de un parche.
Un modelo de OpenAI ha refutado una conjetura de geometría, marcando el giro desde la intuición humana hacia la búsqueda automatizada de contraejemplos a alta velocidad en las matemáticas.
