Este estudio investiga si alinear los costos de asignación con los objetivos del espacio de salida mejora la fidelidad de los modelos de lenguaje grandes comprimidos, probando específicamente una modificación al método de compresión ROCKET. Los autores comparan el uso del error de Frobenius en el espacio de pesos frente a un objetivo de reconstrucción de salida para la asignación del problema de la mochila multidimensional.

  • En Qwen3-8B con 50% de compresión, ROCKET-ActCost propuesto logró una precisión promedio +0.8 puntos porcentuales mayor en 8 benchmarks de cero disparos (53.1% vs 52.3%).
  • La misma configuración aumentó la perplejidad de WikiText en un 16%, pasando de 52.98 a 61.46.
  • Una alta correlación (>0.99) entre los errores del espacio de pesos y del espacio de salida limita la divergencia de la asignación, explicando el tamaño del efecto modesto.
  • En Llama-3.2-1B con 20% de compresión, ambos métodos produjeron resultados casi idénticos (53.3% vs 53.5% de precisión).

Los hallazgos revelan que diferentes objetivos de asignación favorecen distintas métricas downstream, indicando un compromiso entre precisión y perplejidad. El estudio sugiere que la elección de la función de costo tiene efectos menores en el rendimiento del modelo a ratios de compresión más bajos.