Um usuário do Reddit compartilha uma "lista de desejos" ideal e previsões sobre o futuro dos grandes modelos de linguagem (LLM) locais de código aberto, citando sua experiência positiva ao executar Qwen3.6-27B em hardware de consumo.
- Desbloquear o uso completo da GPU por meio de técnicas baseadas em difusão combinadas com arquiteturas esparsas como o DSpark do DeepSeek V4.
- Melhorias nas distribuições de Mixture of Experts (MOE) para permitir a seleção dinâmica de conhecimento, potencialmente habilitando poda sem retreinamento.
- Layouts de dados otimizados e formatos de quantização para reduzir ainda mais o tamanho do modelo e melhorar a eficiência.
- Mecanismos de identidade e autoridade em nível de token para aprimorar a segurança contra injeção de prompts e melhorar o gerenciamento de contexto.
O autor expressa entusiasmo pelo potencial dos modelos de código aberto para inovar em transparência e personalização em comparação com os laboratórios de fronteira de código fechado.