arxiv arXiv cs.CL · 61 д назад · research

ChLogic: Проверка устойчивости логического мышления в китайских выражениях

Переведено с English → Русский

ChLogic оценивает, насколько хорошо большие языковые модели сохраняют логическое мышление при выражении английских логических структур на китайском языке. Исследование выявляет постоянный разрыв в производительности между английским и китайским, при котором обратная трансляция улучшает результаты на общих задачах, но ухудшает результаты на сложных задачах. Бенчмарк подчёркивает влияние поверхностной реализации, артефактов перевода и специфических поведений моделей на мультиязычное мышление.

Важность 2/3 arXiv cs.CL Alibaba (Qwen) Mistral AI Zhipu AI Evaluation & benchmarks Multimodal Reasoning models

Оригинал

Протокол де-биасированного VLM как 3D-судьи для генерации мебели

Де-биасированный протокол судьи на основе VLM специализируется на генерации мебели, используя легкую адаптацию TRELLIS. Протокол решает режимы сбоев, такие как перегрузка изображений и скрытие геометрии, при калибровке показывает коэффициент побед 0,83–1,0 и базовую симметрию по сравнению с базой в 0,5. Среди шести методов адаптации, восстановление условного модуля при тяжелом деградации достигает равенства с базовой моделью, при этом ни один метод не превышает целевой выигрышной доли в 65%.

arxiv arXiv cs.CL · 61 д назад · 1 просмотр

Визуальные данные лгут, согласованность говорит: разъединение пространственной внимательности от надежности в визуально-языковых моделях

Исследование подвергает сомнению предположение о том, что визуальные сигналы внимания отражают надежность в визуально-языковых моделях. Оно показывает почти нулевую корреляцию между пространственной внимательностью и точностью, демонстрируя, что согласованность по всем путям рассуждения является более сильным предиктором истины. Надежность лучше объясняется динамикой генерации и распределения внутренних состояний, а не визуальными паттернами внимания.

arxiv arXiv cs.AI · 54 д назад

Оценка LLM для обнаружения уязвимостей в веб-приложениях

Исследование оценивает шесть LLM на обнаружение реальных уязвимостей в веб-приложениях в плагинах WordPress, выявляя, что показатели обнаружения варьируются в зависимости от модели и дизайна запроса. Claude Opus 4.6 достиг наивысшего показателя обнаружения — 63%, в то время как Qwen 3.5 достиг лишь 35%, и ни одна модель не стабильно идентифицировала все базовые уязвимости на всех итерациях.

arxiv arXiv cs.AI · 54 д назад · 2 просмотра

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нулевом режиме. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие недостатки включают утечку промпта, халлюцинации и слабое выполнение задач.

arxiv arXiv cs.CL · 55 д назад · 6 просмотров

Метод направления на этапе тестирования устраняет конфликты временных фактов в языковых моделях

Исследователи выявили параметрические временные конфликты в языковых моделях, где устаревшие факты сохраняются в параметрах. Они вводят Метод временного притяжения (TAS), подход на этапе тестирования, который устраняет 29-57% таких конфликтов без переобучения, сохраняя точность 85-99% на запросах без конфликтов и превосходя базовую модель на трёх из четырёх моделей.