O artigo levanta uma questão sobre a utilidade prática de modelos menores com pesos abertos (2B–7B) para implantação local, perguntando se eles estão se tornando suficientes para fluxos de trabalho pessoais em comparação com modelos maiores.
Especificamente, pede aos usuários que atualmente executam modelos localmente que compartilhem suas experiências sobre:
- As configurações específicas do modelo e hardware que usam.
- Tarefas onde os pequenos modelos tiveram um desempenho surpreendentemente bom.
- Configurações do mundo real em vez de números de benchmarks.
O autor enfatiza o desejo de ver exemplos de uso práticos do mundo real em vez de métricas de desempenho teóricas.