Un usuario de Reddit en la comunidad r/LocalLLaMA busca una explicación para los rangos específicos de conteo de parámetros de populares Modelos de Lenguaje Grande (LLM) locales, como ~30B, ~70B, ~120B y ~230B. El autor señala las brechas observadas en los tamaños de los modelos y pregunta si estos nichos están determinados por las limitaciones de memoria del hardware a nivel de servidor o por los límites de VRAM de las GPU de consumo en niveles de cuantización específicos como 8-bit o Q4. La publicación solicita aclaración sobre cómo las configuraciones de hardware influyen en el tamaño previsto de estas categorías distintas de modelos.
Usuario de Reddit pregunta sobre la justificación del tamaño del hardware para nichos de tamaño de modelos LLM
Traducido del English → Español