Usuário do Reddit pergunta sobre a justificativa de dimensionamento de hardware para nichos de tamanho de modelos LLM

Um usuário do Reddit na comunidade r/LocalLLaMA busca uma explicação para as faixas específicas de contagem de parâmetros de populares Modelos de Linguagem Grande (LLM) locais, como ~30B, ~70B, ~120B e ~230B. O autor observa lacunas nos tamanhos dos modelos e pergunta se esses nichos são determinados por restrições de memória de hardware em nível de servidor ou limites de VRAM de GPUs de consumo em níveis específicos de quantização como 8-bit ou Q4. A postagem solicita esclarecimento sobre como as configurações de hardware influenciam o dimensionamento pretendido dessas categorias distintas de modelos.