Este artículo presenta una investigación práctica sobre técnicas de descodificado especulativo relajado sin entrenamiento, que aceleran el muestreo autoregresivo de LLM utilizando un modelo auxiliar para redactar tokens. Los autores unifican los enfoques existentes dentro de un marco compartido y los evalúan en configuraciones contemporáneas para extraer hallazgos empíricos para profesionales.
- Relajar la garantía estricta sin pérdidas del descodificado especulativo estándar puede producir aceleraciones adicionales, compensaciones controladas entre capacidad y velocidad, o incluso ganancias de capacidad.
- Evaluar las capacidades requeridas por la relajación es más considerable que en el descodificado especulativo sin pérdidas.
- Muchos enfoques relajados dependen de un redactor que es un buen modelo de lenguaje, lo que los hace inadecuados para redactores dedicados ligeros de predicción multi-token.
Los hallazgos destacan que aunque la relajación ofrece beneficios de rendimiento, introduce requisitos de evaluación significativos y restricciones en la elección de modelos de redacción.