RTX 3090, 7900XTX, RTX 4090과 같은 24GB GPU를 가진 사용자를 위해 특별히 설계된 검증된 llama-server 시작 구성을 공유하기 위해 Reddit 스레드가 생성되었습니다.
구성은 VRAM을 최대한 활용하고 최소 200,000개의 토큰 KV 캐시를 제공해야 합니다. 참여자는 캐싱 성능과 타당성을 평가하는 데 도움이 되도록 시스템 RAM 양, OS 및 CPU 세부 정보를 포함해야 합니다.
이 리소스는 특정 하드웨어 제약 조건에서 llama-server 설정을 최대 효율로 최적화하는 것을 사용자에게 지원하기 위한 것입니다.