Um pesquisador lançou o Qllm, uma nova arquitetura de modelo de linguagem grande que alcança tempo de inferência O(1) eliminando a necessidade de um cache de chave-valor (KV). O modelo de 100M parâmetros é construído com base em associatividade de fase e não depende de estruturas de transformer ou mamba.
- O modelo usa uma arquitetura novel baseada em associatividade de fase para permitir inferência de tempo constante independentemente do comprimento da sequência.
- Foi treinado com 4B tokens dos conjuntos de dados DCLM, Fineweb e Smoltalk2, com um pré-treinamento inicial de 1B token para gramática.
- O projeto inclui código aberto e um checkpoint do Hugging Face para a variante qllm-pam-v11-e3k3-chat.
Os autores hipotetizam que esta arquitetura pode funcionar particularmente bem para modelos de voz devido ao seu design, embora atualmente seja posicionada como uma prova de conceito.