Um usuário relata experimentos preliminares executando modelos de linguagem baseados em difusão (dLLMs), especificamente LLaDA2.1 e Sumi, em hardware Apple Silicon usando um mecanismo personalizado construído para dispositivos M1 e M2 Ultra.
- A taxa de transferência básica estabelecida foi de 4,6–22,2 tok/s no M1 e 32,1–122,6 tok/s no M2 Ultra.
- A quantização uniforme de 4 bits foi adotada como padrão, resultando em uma pegada do modelo de ~9,57 GB com uma taxa baixa de flip confiante.
- Várias otimizações foram testadas, incluindo cache elástico (rejeitado), desmascaramento multi-bloco (aceito provisoriamente) e especulação automática via S2D2 (aceito).
- A votação TSCV melhorou a precisão do GSM8K em 6–8 pontos percentuais com zero sobrecarga de CPU, enquanto a Decodificação de Crédito rendeu ganhos insignificantes.
- A análise de roteamento revelou que as contagens distintas de especialistas são menores do que o previsto, e a quantização permanece necessária, pois a desquantização desacelera o desempenho.
O autor visa construir um mecanismo de difusão funcional para dispositivos pessoais e obter uma compreensão mais profunda de como esses modelos operam.