arxiv arXiv cs.LG · 84 д назад · ист: 87 д назад · research

Малые языковые модели превосходят передовые крупные языковые модели по извлечению отношений

Переведено с English → Русский

Финетурированный модель Qwen2.5 с 0,5 миллиарда параметров достигает 0,83 микроФ1 в извлечении отношений в общей области, превосходя нулевую версию GPT-5.4 и Claude Sonnet 4.6. На литературных тестах она достигает 0,92 на датасете Биографический, превосходя GPT-5.4 и превосходя передовые модели по точности, демонстрируя, что адаптированные к задаче малые модели могут обеспечивать высокую производительность при минимальных затратах на оборудование и приватность.

Важность 2/3 Обходит бенчмарк топ-лаборатории arXiv cs.LG Alibaba (Qwen) Evaluation & benchmarks Open weights

Оригинал

AGC-Bench представляет единый бенчмарк и AGC-Judge для измерения искусственного общего творчества

Исследователи представляют AGC-Bench, единый бенчмарк для оценки искусственного общего творчества, созданный на основе 3101 отобранных статей и охватывающий 78 наборов данных в таких областях, как мозговой штурм и STEM. Чтобы устранить предвзятость автоматической оценки, команда дообучает Qwen3-30B на скорректированных по предвзятости оценках, чтобы создать AGC-Judge — модель с открытым весом, которая надежно оценивает новые бенчмарки творчества.

arxiv arXiv cs.CL · 86 д назад · 10 просмотров

Метод направления на этапе тестирования устраняет конфликты временных фактов в языковых моделях

Исследователи выявили параметрические временные конфликты в языковых моделях, где устаревшие факты сохраняются в параметрах. Они вводят Метод временного притяжения (TAS), подход на этапе тестирования, который устраняет 29-57% таких конфликтов без переобучения, сохраняя точность 85-99% на запросах без конфликтов и превосходя базовую модель на трёх из четырёх моделей.

media r/LocalLLaMA · 89 д назад · 3 просмотра

Экономика ИИ начинает отдавать предпочтение открытым моделям

Последние выпуски ИИ-моделей показывают, что высококвалифицированные, недорогие модели всё чаще доминируют среди открытых моделей, таких как DeepSeek, Qwen, GLM, Kimi и MiniMax. Для большинства реальных применений разрыв в производительности между передовыми закрытыми моделями и сильными открытыми моделями сокращается быстрее, чем разрыв в стоимости, что делает открытое модели конкурентоспособными как с точки зрения возможностей, так и с точки зрения цены.

media r/LocalLLaMA · 89 д назад · 6 просмотров

Что более впечатляет: GLM 5.1 до 5.2 или Qwen 3.5 до 3.6?

Пост на Reddit сравнивает улучшения производительности GLM 5.1 до 5.2 и Qwen 3.5 до -3.6. В посте отмечается, что упоминание 'Döner' активирует специализированные веса GLM 5.2 на немецком языке, в то время как Qwen 3.6 оценивается с использованием 35B параметров и Quantization Unsloth Q8 K XL через llama.cpp.

arxiv arXiv cs.CL · 90 д назад · 7 просмотров

STAGE: Генерация данных с опорой на источник для преобразования текста в JSON

STAGE — это пайплайн, который генерирует обучающие данные текст-в-JSON с использованием языковых моделей для синтеза отчётов и схем JSON, проверенных посредством исходных таблиц. Оценки на STAGE-Eval показывают, что STAGE повышает точность Qwen3-4B с 31,37% до 74,27% и точность значений с 45,46% до 90,69%.