media r/LocalLLaMA · 71 д назад · open_models

У кого есть достаточно вычислительных ресурсов, чтобы создать дистилляционный датасет из GLM5.2?

Переведено с English → Русский

Пользователь спрашивает, у кого есть достаточные вычислительные ресурсы, чтобы создать большой дистилляционный датасет из 700 000 до 1 миллиона примеров из GLM5.2. Цель — улучшить обучение более маленьких моделей, таких как Qwen3.5, и помочь более широкой сообществу.

Важность 2/3 r/LocalLLaMA Zhipu AI Alibaba (Qwen) Open weights Training data Training methods

Оригинал

Z.ai и Alibaba независимо пришли к архитектуре линейного внимания 3:1 для GLM-5.3-Flash и Qwen3.8-Flash-Next

Z.ai выпустила GLM-5.3-Flash, мультимодальную MoE-модель с 320B параметров и 18B активных параметров, в то время как команда Alibaba Qwen выпустила Qwen3.8-Flash-Next, модель на 125B с 6B активных параметров. Несмотря на независимую разработку, обе команды приняли почти идентичные архитектурные конфигурации.

media AI News (smol.ai) · 12 д назад · 11 просмотров

Z.ai запускает модель для кодинга GLM-5.3; Cursor присоединяется к SpaceXAI

Z.ai выпустила GLM-5.3, модель для кодинга и кибербезопасности, созданную на основе дообучения (post-training) своей базовой модели 743B, а не нового препроцессинга (pretraining). В релиз включены конкретные результаты бенчмарков: Terminal Bench 3.0 — 28.3 и DeepSWE — 66.9.

arxiv arXiv cs.LG · 18 д назад · 84 просмотра

Macaron-V1 представляет открытое семейство агентных моделей с Mixture-of-LoRA для непрерывного обучения

Macaron-V1 — это открытое семейство агентных моделей, предназначенное для экспериментального интеллекта, позволяющее учиться на основе реальных сред и продолжать обучение после развертывания. Система сосредоточена на двух целях: адаптация через рекурсивное улучшение пар модель-обвязка (model-harness) и сотрудничество посредством архитектуры Mixture-of-LoRA (MoL), которая выбирает специализированные адаптеры LoRA для каждого пользовательского хода.

arxiv arXiv cs.CL · 18 д назад · 17 просмотров

Macaron-V1 представляет открытое семейство агентов-моделей с Mixture-of-LoRA для непрерывного обучения

Macaron-V1 — это открытое семейство агентов-моделей, предназначенное для экспериментального интеллекта, позволяющее системам учиться на реальном опыте и продолжать совершенствоваться после развертывания. Архитектура сосредоточена на двух целях: адаптация через рекурсивное самосовершенствование пар модель- harness, и сотрудничество посредством системы Mixture-of-LoRA (MoL), которая выбирает специализированные адаптеры для каждого пользовательского хода.

media r/LocalLLaMA · 70 д назад · 6 просмотров

Что более впечатляет: GLM 5.1 до 5.2 или Qwen 3.5 до 3.6?

Пост на Reddit сравнивает улучшения производительности GLM 5.1 до 5.2 и Qwen 3.5 до -3.6. В посте отмечается, что упоминание 'Döner' активирует специализированные веса GLM 5.2 на немецком языке, в то время как Qwen 3.6 оценивается с использованием 35B параметров и Quantization Unsloth Q8 K XL через llama.cpp.