media r/LocalLLaMA · 54 д назад · open_models

unsloth GLM-5.2-GGUF с 2-битной квантованией на 238 ГБ

Переведено с English → Русский

Модель unsloth GLM-5.2-GGUF доступна с 2-битной квантованией, размером 238 ГБ. Она размещена на Hugging Face и поделена в посте в сообществе LocalLLaMA на Reddit.

Важность 2/3 r/LocalLLaMA Zhipu AI Inference efficiency Open weights

Оригинал

Запуск GLM5.2 на бюджетном оборудовании < $2500

Пользователь Reddit демонстрирует, как собрать локальную систему для вывода ИИ менее чем за $2500, используя доступные б/у компоненты, с акцентом на возможность запуска больших языковых моделей, таких как GLM-5.2, без дорогого корпоративного оборудования.

media r/LocalLLaMA · 48 д назад · 8 просмотров

GLM-5.2 на 4x DGX Spark: Восстановление недостающих шагов сборки для MTP спекулятивного декодирования

Автор успешно развернул GLM-5.2 со спекулятивным декодированием MTP на кластере из четырех узлов NVIDIA GB10 (DGX Spark), достигнув скорости около 9,4 токенов в секунду. Эта конфигурация использует vLLM с тензорным параллелизмом, портированные ядра Triton для разреженного MLA и детерминированное отсечение 15% экспертов для размещения весов AWQ-INT4. Ключевым выводом стало то, что исходные инструкции по сборке Docker-образа неполны, что требует восстановления недостающих патчей для файлов deep_gemm.py и sparse_attn_indexer.py. Автор также выявил, что использование любой версии vLLM, отличной от конкретного зафиксированного коммита, приводит к падению загрузки реальных весов AWQ из-за ошибок CUDA. Для воспроизведения среды пользователям необходимо применить пользовательский скрипт, который внедряет ядра и маршрутизирует функции в fallback-решения для sm12x. Преимущества производительности включают примерно двукратное увеличение скорости по сравнению с предыдущими реализациями llama.cpp, хотя пропускная способность между узлами остается узким местом для масштабирования с использованием двойных шин (dual-rail).

media r/LocalLLaMA · 53 д назад · 5 просмотров

GLM-5.2 теперь может работать локально в llama.cpp и Unsloth Studio

GLM-5.2, самый сильный открытый модель до сих пор, теперь может работать локально с помощью llama.cpp и Unsloth Studio. Модель с квантованием на 2 бита сохраняет ~82% точности после сокращения размера с 1,51 ТБ до 238 ГБ, что составляет 84% сокращение, и совместима с установками на 256 ГБ ОЗУ или VRAM.

media r/LocalLLaMA · 56 д назад · 2 просмотра

Самый дешевый способ запуска GLM 5.x локально без использования единых памяти

Пользователь исследует экономически обоснованные способы запуска GLM 5.x локально с использованием 4-битной квантования, таких как IQ4_XS, без зависимости от единых памяти. Возможные варианты включают настройки только на процессоре, такие как Sapphire Rapids ES с DDR5, распределение нагрузки между несколькими GPU или использование моделей аналогичного размера. Пользователь использует систему 5900X + 128 ГБ DDR4 + 7900XT 20 ГБ и успешно запускает Minimax 2.7 при Q4_K_S и Qwen 3.6 27B при IQ4_XS.

media MarkTechPost · 17 ч назад · 1 просмотр

webAI выпускает TwIL-LM — семейство формально-логических моделей на 1,7B и 3B параметров для локальной автоформализации

webAI выпустила TwIL-LM, семейство из двух логических вычислителей с 1,7B и 3B параметров, предназначенных для автоформализации на локальном оборудовании. Модели переводят английский текст в логику первого порядка и проверяют корректность заключений; вариант на 3B параметров достигает макросреднего показателя 0,4218 на задачах формальной логики из обучающей области.