Проверка на RTX 5060 Ti показала, что сокращение размера модели локального ИИ-ассистента по голосу с 9B до 0,8B приводит к резкому падению его способностей. Модель размером 9B хорошо справляется с координацией инструментов, в то время как более маленькие модели демонстрируют растущее количество сбоев: модель размером 4B пропускает вызов инструментов и делает предположения о фактах, модель размером 2B испытывает синтаксическую дрейф, а модель размером 0,8B не может выполнять функции агента, вызывая неправильные API или бесконечные циклы.
media
r/LocalLLaMA
·
77 д назад
·
open_models
Наблюдение за тем, как локальный ИИ-ассистент по голосу становится менее умным
Переведено с English → Русский
Похожие статьи
arxiv
arXiv cs.CL
·
73 д назад
·
7 просмотров
Qwen-AgentWorld: Языковые модели мира для общих агентов
Qwen-AgentWorld-35B-A3B и Qwen-AgentWorld-397B-A17B — это первые языковые модели мира, которые имитируют агентские среды в семи областях с помощью длинной цепи мышления. Обученные с помощью трехэтапной схемы — CPT, SFT и RL — эти модели превосходят существующие передовые модели на AgentWorldBench, критерии, полученные из реальных взаимодействий пяти моделей на девяти установленных задачах.
arxiv
arXiv cs.AI
·
73 д назад
·
5 просмотров
Модель социального мира для долгосрочной социальной интеллектуальности
Модель социального мира разбивает социальные взаимодействия на пять измерений для обеспечения обучения в замкнутом цикле. Она позволяет открытым источникам моделей стабильно улучшаться и сохранять социальные способности, превосходя базовые модели и достигая ключевых показателей, сравнимых с закрытым Gemini 3 Flash, без потери при изменении уровня сложности.
media
r/LocalLLaMA
·
74 д назад
·
1 просмотр
SFT или RL-первый для обучения агента Qwen 3.5 с использованием инструментов?
Пользователь спрашивает, рекомендуется ли все еще последовательное применение надзирательного мелкого настройки (SFT) за которым следует обучение с помощью реверсной связи (RL), для обучения агентов Qwen 3.5 4B или 9B для многократного использования инструментов, или же более эффективны подходы на основе только RL. В посте также ищется руководство по проектированию вознаграждения и обработке параллельного выполнения инструментов в рабочих процессах агентов.
arxiv
arXiv cs.LG
·
78 д назад
·
6 просмотров
Метод probe-and-refine улучшает производительность код-агента
Новый метод, называемый probe-and-refine tuning, использует синтетические пробы исправления ошибок для итеративного улучшения файлов руководства репозитория с помощью одноразовых вызовов LLM, без циклов агентов или использования инструментов. На SWE-bench Verified он достигает среднего коэффициента разрешения 33,0% — на 14,5 процентных пункта выше начального статического базового знания — что свидетельствует о расширении охвата, а не точности исправлений. Метод позволяет агентам эффективно использовать большие бюджеты шагов, и производительность остается стабильной при различных моделях, при наличии достаточного диагностического вывода.
arxiv
arXiv cs.AI
·
78 д назад
·
1 просмотр
SoftSkill: сжатие поведенческих навыков для адаптации в контексте
SoftSkill предлагает метод сжатия естественных языковых навыков в компактные скрытые предпосылки, что улучшает выполнение задач на SearchQA, LiveMath и DocVQA. Метод превосходит SkillOpt на 5,2–12,5 баллов по ключевым метрикам, при этом заменяя сотни или тысячи токенов Markdown на несколько виртуальных токенов.