media r/LocalLLaMA · 53 д назад · open_models

Самый дешевый способ запуска GLM 5.x локально без использования единых памяти

Переведено с English → Русский

Пользователь исследует экономически обоснованные способы запуска GLM 5.x локально с использованием 4-битной квантования, таких как IQ4_XS, без зависимости от единых памяти. Возможные варианты включают настройки только на процессоре, такие как Sapphire Rapids ES с DDR5, распределение нагрузки между несколькими GPU или использование моделей аналогичного размера. Пользователь использует систему 5900X + 128 ГБ DDR4 + 7900XT 20 ГБ и успешно запускает Minimax 2.7 при Q4_K_S и Qwen 3.6 27B при IQ4_XS.

Важность 1/3 r/LocalLLaMA Zhipu AI Code generation Inference efficiency Open weights

Оригинал

Запуск GLM5.2 на бюджетном оборудовании < $2500

Пользователь Reddit демонстрирует, как собрать локальную систему для вывода ИИ менее чем за $2500, используя доступные б/у компоненты, с акцентом на возможность запуска больших языковых моделей, таких как GLM-5.2, без дорогого корпоративного оборудования.

media r/LocalLLaMA · 45 д назад · 8 просмотров

GLM-5.2 на 4x DGX Spark: Восстановление недостающих шагов сборки для MTP спекулятивного декодирования

Автор успешно развернул GLM-5.2 со спекулятивным декодированием MTP на кластере из четырех узлов NVIDIA GB10 (DGX Spark), достигнув скорости около 9,4 токенов в секунду. Эта конфигурация использует vLLM с тензорным параллелизмом, портированные ядра Triton для разреженного MLA и детерминированное отсечение 15% экспертов для размещения весов AWQ-INT4. Ключевым выводом стало то, что исходные инструкции по сборке Docker-образа неполны, что требует восстановления недостающих патчей для файлов deep_gemm.py и sparse_attn_indexer.py. Автор также выявил, что использование любой версии vLLM, отличной от конкретного зафиксированного коммита, приводит к падению загрузки реальных весов AWQ из-за ошибок CUDA. Для воспроизведения среды пользователям необходимо применить пользовательский скрипт, который внедряет ядра и маршрутизирует функции в fallback-решения для sm12x. Преимущества производительности включают примерно двукратное увеличение скорости по сравнению с предыдущими реализациями llama.cpp, хотя пропускная способность между узлами остается узким местом для масштабирования с использованием двойных шин (dual-rail).

media r/LocalLLaMA · 49 д назад · 4 просмотра

GLM-5.2 побеждает Гемини и GPT-5.4 в программировании, но является неэффективным

GLM-5.2 превосходит GPT-5.4 и всю линейку Гемини по производительности в программировании на бенчмарке DeepSWE. Однако он требует значительно большего количества токенов вывода, что делает его существенно менее эффективным с точки зрения затрат на задачу по сравнению с моделями, такими как GPT-5.5 и Claude Opus 4.8.

media r/LocalLLaMA · 50 д назад · 2 просмотра

Теперь вы можете конвертировать квантованные модели EXL3 на Mac с процессором Apple Silicon

Пользователи теперь могут конвертировать и запускать квантованные модели EXL3 на Mac с процессором Apple Silicon и объёмом памяти 64 ГБ и более. Проверки показывают, что модели, такие как MiniCPM5 и Qwen3.6-27B, достигают производительности, сравнимой с или немного ниже производительности при конвертации на картах RTX, при этом EXL3 обеспечивает более высокое качество квантования по сравнению с MLX.

media r/LocalLLaMA · 50 д назад · 7 просмотров

Наилучшие настройки для 48 ГБ ОЗУ с Qwen 3.6 27B

Пользователь делится оптимизированными настройками для запуска Qwen 3.6 27B с квантованием Q8_0 на системе RTX 4090 и RTX 3090 с использованием llama.cpp. Конфигурация включает разбиение тензоров, 999 слоев на GPU, контекст длиной 250k, спекулятивное декодирование и единый кэш КВ, что обеспечивает пропускную способность 75-100t/s с поддержкой визуальных данных и MTP.