AdaSpark es un programador para generadores de bloques como DSpark que aprende los anchos de verificación y las probabilidades de aceptación durante el servicio sin perfiles previos ni calibración. Ajusta el tiempo de verificación en función del contexto y la aceptación de candidatos a los resultados del objetivo, permitiendo que los candidatos derivados del borrador y del texto compitan en un único orden de mejor primero.
- En seis conjuntos de datos públicos con tres objetivos densos y un objetivo de mezcla de expertos, AdaSpark decodifica 1.5-3.1x más rápido que DSpark de llama.cpp utilizando los mismos generadores.
- El motor imparo con AdaSpark es 1.17-1.52x más rápido que ejecutar con una cadena predeterminada de tres tokens, una ganancia atribuida únicamente al programador.
- Sin barridos de anchura, el rendimiento se mantiene dentro del 0.3% del ancho de árbol fijo óptimo en objetivos densos y empatar con la anchura fija óptima en modelos de mezcla de expertos.
Este enfoque elimina la necesidad de calibración offline o barridos mientras proporciona aceleraciones significativas sobre los métodos de programación estándar.