Un investigador ha lanzado Qllm, una nueva arquitectura de modelo de lenguaje grande que logra un tiempo de inferencia O(1) eliminando la necesidad de una caché de clave-valor (KV). El modelo de 100M parámetros se basa en la asociatividad de fase y no depende de estructuras de transformador o mamba.
- El modelo utiliza una arquitectura novedosa basada en la asociatividad de fase para permitir una inferencia de tiempo constante independientemente de la longitud de la secuencia.
- Fue entrenado con 4B tokens de los conjuntos de datos DCLM, Fineweb y Smoltalk2, con un preentrenamiento inicial de 1B token para gramática.
- El proyecto incluye código abierto y un punto de control de Hugging Face para la variante qllm-pam-v11-e3k3-chat.
Los autores hipotetizan que esta arquitectura puede funcionar particularmente bien para modelos de voz debido a su diseño, aunque actualmente se posiciona como una prueba de concepto.