Какие инструменты используют люди для оценки VRAM и RAM для локальных LLM?

Пользователи отмечают, что hf-accelerate's model-memory-usage и NyxKrage's LLM VRAM Calculator являются распространенными инструментами для оценки потребностей в VRAM и RAM. Инструмент NyxKrage отмечен как KV-cache-сознательный и настраиваемый с параметрами квантования и длины контекста, хотя результаты могут варьироваться в зависимости от моделей и движков, таких как llama.cpp или vLLM, из-за поведения квантования и кэширования.