LoopCoder-v2, параллельная модель Transformer для циклов, демонстрирует превосходную производительность по генерации кода и логическому мышлению при двух циклах, повышая результаты SWE-bench Verified с 43,0 до 64,4 баллов и Multi-SWE с 14,0 до 31,0 баллов. Варианты с тремя или более циклами показывают худшую производительность, что указывает на немонотонный эффект количества циклов из-за роста позиционных несоответствий и уменьшения возвратов.
arxiv
arXiv cs.LG
·
53 д назад
·
ист: 54 д назад
·
research
LoopCoder-v2 достигает оптимальной производительности при двух циклах
Переведено с English → Русский
Бенчмарки
| Бенчмарк | Модель | Результат |
|---|---|---|
| SWE-bench Verified | LoopCoder-v2 | 64.4% |
Похожие статьи
arxiv
arXiv cs.CL
·
47 д назад
·
1 просмотр
CAT-Translate: Компактные модели японского-английского перевода превосходят многозначные в реальных задачах
CAT-Translate представляет семейство компактных, открытых моделей, специализирующихся на переводе японского на английский. Используя синтетические параллельные корпуса и двухэтапную методику настройки, модели достигают превосходных результатов на реальных тестах в областях бизнеса, права, медицины, финансов и патентов, превосходя большие многозначные модели в практическом применении.
arxiv
arXiv cs.CL
·
51 д назад
·
2 просмотра
JAMER: Датасет и бенчмарк проектного уровня кода
JAMER вводит JamSet и JamBench, первый датасет и бенчмарк проектного уровня кода для профессиональной игровой платформы. Созданный на основе 8133 проверенных проектов Game Jam, он обеспечивает детерминированную оценку и выявляет порог способности в моделях ИИ при увеличении масштаба проекта, при этом процент успешных запусков снижается с 80,4% до 5,7%.
arxiv
arXiv cs.AI
·
52 д назад
·
1 просмотр
Агенты интеллектуального анализа данных обеспечивают автономный запрос данных
Агенты интеллектуального анализа данных (DIA) развертывают автономных агентов программирования для оптимизации рабочих процессов с данными в корпоративной среде. Генератор запросов достигает или превосходит лучшие публикуемые результаты на семи бенчмарках SQL по четырём синтаксисам, демонстрируя обобщение через естественные инструкции и архитектуру выполнения запросов.
arxiv
arXiv cs.AI
·
52 д назад
·
1 просмотр
CAPRA: Многоагентная система LLM для обратной связи по архитектуре программного обеспечения
CAPRA — это многоагентная система LLM, которая генерирует персонализированную, шаблонную обратную связь на LaTeX по доставляемым архитектурным материалам. Она использует специализированные агенты, PyMuPDF и gpt-4o для извлечения и анализа текста и диаграмм UML, при этом обеспечивается надежность за счёт фиксации доказательств и управления согласованностью. Предварительная оценка 10 отчётов студентов показала, что CAPRA выполнил 88,8% из восьми критериев и достиг среднего уровня согласия между оценщиками (kappa = 0,582), при этом каждый отчёт обрабатывался менее чем за 4 минуты.
media
Hugging Face Forums
·
12 д назад
Calibra: Наблюдаемость наборов данных роботов для LeRobot
Calibra — это инструмент с открытым исходным кодом, предназначенный для аудита наборов данных роботов и выявления проблем с качеством перед обучением. Он предоставляет инструменты для создания ядер, учитывающих качество, и оценки результатов обучения.