Пользователь из России планирует собрать полностью автономную систему для ИИ в связи с ожидаемыми ограничениями доступа к интернету и ищет рекомендации по подбору оборудования и оптимизации производительности. Предлагаемая конфигурация включает два процессора Intel Xeon 2683v4, 256 ГБ оперативной памяти DDR4 ECC и один графический ускоритель NVIDIA V100 на 16 ГБ, при примерном бюджете в $1500.
- Целевые модели включают Deepseek V4 Flash (284B) и MiMo V2.5 (310B), при этом инференс только на CPU для первой оценивается в 6–7 токенов в секунду.
- Пользователь сообщает, что использование ik_llama.cpp удвоило скорость обработки промпта по сравнению со стандартным llama.cpp в предварительных тестах на модели Qwen3.5 9B.
- Собраны рекомендации по оптимизации: настройка размеров батчей, установка переменной OMP_WAIT_POLICY=ACTIVE и использование моделей с MTP.
- Сохраняются опасения относительно задержек межпроцессорного взаимодействия и доступности материнских плат с восемью каналами памяти для будущего расширения GPU.