El debate sobre la escalabilidad de IA pasa por alto que maximizar la utilización de FLOP del modelo es más crítico que comprar más GPUs. Fronteras como xAI operan con MFU inferior al 10%, mientras que modelos históricos lograron entre 21% y 70% de MFU, lo que indica ineficiencias sistémicas en la programación, la red y la gestión del clúster. Anjney Midha argumenta que la infraestructura de IA debe evolucionar hacia sistemas eficientes, alineados y responsables, con el 'output maxing' emergiendo como una nueva disciplina para la IA de frontera.
media
Latent Space
·
hace 56 d
·
agents
Por qué la escalabilidad de IA es un problema de sistemas, no solo una carrera de GPUs
Traducido del English → Español
Artículos relacionados
arxiv
arXiv cs.LG
·
hace 57 d
·
1 vista
Ternary Mamba: QAT eficiente de SSMs desde checkpoints preentrenados
Ternary Mamba logra una compresión de 3.61x de Mamba-2, pasando de 2,687 a 744 MB mediante entrenamiento con conciencia de cuantificación agrupada y destilación de conocimiento. Alcanza una precisión zero-shot del 48.1% en 7 tareas con 102M tokens, igualando a Bi-Mamba dentro de 0.9 puntos porcentuales, mientras evita el costoso entrenamiento desde cero.
arxiv
arXiv cs.AI
·
hace 57 d
Ternary Mamba: QAT preentrenada para compresión eficiente de SSM
Ternary Mamba logra una compresión de 3.61x de Mamba-2 mediante entrenamiento cuantizado con conciencia de cuantización agrupado desde un checkpoint preentrenado, reduciendo la memoria de 2,687 a 744 MB. Alcanza una precisión zero-shot del 48.1% con solo 102M tokens y 4 GPU-hours, igualando a Bi-Mamba dentro de 0.9 puntos porcentuales, mientras revela nueva inestabilidad de las escalas de cuantización aprendibles y acumulación de errores en la recurrencia.
arxiv
arXiv cs.LG
·
hace 55 d
Acumulación de Ventaja Marginal para la Autoevolución de Agentes Impulsada por Memoria
Este artículo presenta la Acumulación de Ventaja Marginal (MAA), una arquitectura de postprocesamiento que aborda la inconsistencia entre lotes en la autoevolución de agentes impulsada por memoria. MAA formaliza la alineación y comparabilidad como condiciones estructurales, utiliza señales diferenciales y promedio móvil exponencial para acumular evidencia firmada por operación, y garantiza la trazabilidad mediante la fusión de identidad semántica. Supera a las líneas base a nivel de lote en 14 de cada 16 configuraciones y reduce el consumo de tokens en aproximadamente un 75%.
arxiv
arXiv cs.LG
·
hace 56 d
·
2 vistas
El RL guiado por discriminador corrige el emparejamiento de flujos con recompensas alineadas a los datos
El RL guiado por discriminador (DRL) utiliza un espacio de representaciones preentrenado para entrenar un discriminador que separa los datos reales de las muestras generadas por el modelo. Su logit se usa como recompensa en el RL con regularización KL, alineando las salidas del modelo con la realismo visual y semántico sin preferencias humanas. DRL mejora FID y FD semántico en modelos como SiT y JiT, y mejora la frontera de Pareto entre preferencia y fidelidad.
arxiv
arXiv cs.AI
·
hace 57 d
FoMoE rompe la barrera de réplicas completas con capas de expertos particionadas
FoMoE introduce un sistema que particiona las capas de expertos entre trabajadores para evitar réplicas completas del modelo, reduciendo los costos de comunicación hasta 1.42x en comparación con las bases eficientes y 45.44x en comparación con DDP. Logra aceleraciones de rendimiento de hasta 1.4x mediante un mecanismo de salto de tokens y demuestra un enrutamiento estable, con beneficios proyectados que se extienden a modelos de escala 100B a través del modelado del sistema.