Se ha creado un hilo en Reddit para compartir configuraciones iniciales de llama-server probadas, diseñadas específicamente para usuarios con GPUs de 24 GB, como la RTX 3090, 7900XTX y RTX 4090.
Las configuraciones deben utilizar la VRAM lo más posible y proporcionar al menos 200.000 tokens de KV Cache. Se pide a los participantes que incluyan la cantidad de RAM del sistema, el SO y los detalles de la CPU para ayudar a evaluar el rendimiento y la viabilidad del caché.
Este recurso tiene como objetivo ayudar a los usuarios a optimizar la configuración de llama-server para una máxima eficiencia en restricciones específicas de hardware.