arxiv arXiv cs.CL · 6 ч назад

Аудит поведенческой нестабильности, чувствительной к фреймингу, в LLM для ментального здоровья

В данном исследовании изучается, как семантически схожие проблемы, представленные через различные контекстные фреймы, вызывают разные ответы у больших языковых моделей, настроенных по инструкциям, что может ставить под сомнение надежность системы. Используя контролируемые сопоставленные промпты и послойный анализ зондирования, авторы демонстрируют, что фрейминг систематически изменяет тенденции интерпретационного ответа в архитектурах нескольких моделей.

arxiv arXiv cs.CL · 6 ч назад

ReaORE: Извлечение открытых отношений, управляемое рассуждениями и реализуемое поэтапно с помощью больших моделей рассуждений

Исследователи предлагают ReaORE — фреймворк для извлечения открытых отношений, использующий большие модели рассуждений для достижения надежной обобщающей способности на невидимых типах отношений. Метод устраняет ограничения существующих подходов кластеризации и прямого генерирования посредством процесса рассуждений от грубого к тонкому.

arxiv arXiv cs.CL · 6 ч назад

Где модели находят счастье? Векторы эмоций в открыто-весовых больших языковых моделях

Это исследование исследует наличие и структуру векторов эмоций в открыто-весовых больших языковых моделях, конкретно Apertus-8B-Instruct-2509 и Gemma-4-E4B-it. Исследование подтверждает, что эти модели кодируют геометрию валентности с высокой корреляцией к человеческим психологическим структурам, приближаясь к уровням, ранее наблюдаемым в Claude Sonnet 4.5.

arxiv arXiv cs.CL · 6 ч назад

MinGram: Минималистичный униграммный токенизатор с высокой степенью сжатия и конкурентным морфологическим выравниванием

Авторы представляют MinGram, минималистичный униграммный токенизатор, который упрощает обучение за счет использования стартового словаря на основе BPE, жесткого EM на пути с минимальным количеством токенов и одного шага отсечения по плоскому скорингу. Этот подход устраняет необходимость в суффиксных массивах, прямых-обратных проходах и итеративных циклах отсечения, делая процедуру значительно менее сложной по сравнению со стандартными методами.

arxiv arXiv cs.CL · 6 ч назад

Улучшение калибровки вербализованной неопределенности в медицинском VQA

Данная работа решает проблему склонности мультимодальных больших языковых моделей выдавать излишне уверенные ответы в задачах медицинского визуального ответа на вопросы, предлагая основанную на обучении рамку, которая дообучает эти модели для лучшей калибровки. Метод использует составную функцию потерь, сочетающую калибровку по типу Брайера, регуляризацию якорей, контрастное выравнивание изображения и текста, а также члены KL-дивергенции для согласования уверенности модели с фактической правильностью.

arxiv arXiv cs.CL · 6 ч назад

Улучшение универсальных агентов ролевой игры на основе психологии обоснованного рассуждения и оптимизации политики с учетом роли

Исследователи предлагают Psy-CoT, основанный на психологии фреймворк цепочки рассуждений, который разбивает предварительное рассуждение перед ответом на Восприятие взаимодействия, Психологическую эмпатию и Логическую конструкцию для улучшения точности персонажа. Чтобы устранить несовпадение градиентов в обучении с подкреплением, они вводят Оптимизацию политики с учетом роли (RAPO), которая использует взаимную информацию токенов профиля для асимметричного взвешивания градиентов.

arxiv arXiv cs.CL · 6 ч назад

NuclearQAv2: Структурированный бенчмарк для оценки компетенции в области ядерной науки у больших языковых моделей

Исследователи представляют NuclearQAv2, новый бенчмарк, разработанный для оценки надежности больших языковых моделей в ядерной инженерии путем проверки фактических знаний, количественных рассуждений и концептуального понимания.

arxiv arXiv cs.CL · 7 ч назад

К объяснимой дискреционной дисперсии: количественная оценка судебного усмотрения с помощью затворного многозадачного обучения

Исследователи предлагают архитектуру Judge-Aware Gated Multi-Task Learning, которая разделяет объективные факты дела и контекст вынесения решения для улучшения прогнозирования правовых исходов. Модель использует мелкодисперсную таксономию исходов и механизм затворного слияния для динамической модуляции зависимости от личности судьи; оценка проводилась на 13 937 решениях Трудовых трибуналов Великобритании.

arxiv arXiv cs.CL · 7 ч назад

Загадка загадок: тестирование гибкого мышления у больших языковых моделей и людей

Исследование вводит парадигму «загадки-загадки» для определения того, полагаются ли большие языковые модели (LLM) на гибкое мышление или на сопоставление шаблонов, выявляя, что люди и LLM терпят неудачу в противоположных направлениях. В экспериментах с участием девяти современных LLM и 100 человек-участников LLM показали значительно худшие результаты на загадках-загадках по сравнению с настоящими загадками, тогда как люди продемонстрировали обратную тенденцию.

arxiv arXiv cs.CL · 7 ч назад

HarmVideoBench: Оценка способности больших мультимодальных моделей понимать вредоносные видео

Исследователи представляют HarmVideoBench, многоуровневый диагностический бенчмарк, предназначенный для оценки больших зрительно-языковых моделей в их способности понимать вредоносные видео за пределами поверхностных признаков. Бенчмарк устраняет ограничения существующих работ за счет включения объяснительных обоснований и оценки трех иерархических измерений вреда: Наблюдаемые доказательства, Внутренний смысл клипа и Рассуждения за пределами клипа.

arxiv arXiv cs.CL · 7 ч назад

Прогнозирование с помощью больших языковых моделей: улучшение обобщения через управление признаками

В данном исследовании большие языковые модели применяются к задачам прогнозирования, а для анализа их внутренних состояний используются разреженные автоэнкодеры, что позволяет различать знание, специфичное для времени, и обобщаемые паттерны. Исследование выявило конкретные признаки, связанные как с осознанием временного контекста, так и с предвзятостью в сторону будущего.

arxiv arXiv cs.CL · 7 ч назад

Обновление синтаксических убеждений как фактор сложности обработки предложений с эффектом сада-лабиринта

В статье предлагается модель обновления синтаксических убеждений (Syntactic Belief Update), которая предсказывает сложность обработки в предложениях с эффектом сада-лабиринта путем измерения величины обновлений синтаксических убеждений через обобщенное расхождение Реньи. Этот подход превосходит лексическую неожиданность, обеспечивая лучшее соответствие данным времени чтения людьми.

arxiv arXiv cs.CL · 7 ч назад

Вымощено истинными намерениями: обучение с учётом намерений улучшает классификацию безопасности LLM в различных режимах обучения

Авторы представляют AIMS, набор из 1724 сложных промптов для безопасности, аннотированных человеком, дополненных описаниями намерений и метками вреда, для оценки обучения с учётом намерений в нескольких режимах. Они утверждают, что моделирование пользовательского намерения как явного сигнала значительно повышает устойчивость классификаторов безопасности.

arxiv arXiv cs.CL · 7 ч назад

Задавайте вопросы, а не осуждайте: бинарные вопросы для интерпретируемой оценки и самоусовершенствования LLM

Авторы предлагают BINEVAL — фреймворк, который разбивает критерии оценки на атомарные бинарные вопросы для получения интерпретируемых многомерных оценок больших языковых моделей. Этот подход генерирует прозрачную обратную связь на уровне вопросов и калиброванные общие баллы, заставляя LLM независимо отвечать на детализированные вопросы оценки для каждого вывода.

blog Simon Willison · 7 ч назад

datasette-export-database 0.3a2 исправляет привязку версии

Плагин datasette-export-database версии 0.3a2 устраняет проблему совместимости, вызванную слишком строгим ограничением зависимости в предыдущем релизе.

github llama.cpp · 7 ч назад

Выпуск llama.cpp b9827 добавляет оптимизацию асинхронного копирования 2D в CUDA

Выпуск llama.cpp b9827 вводит оптимизацию производительности для CUDA, добавляя быстрый путь cudaMemcpy2DAsync в функцию ggml_cuda_cpy. Это изменение ускоряет копирование с шагом одинакового типа и формы, где тензоры не являются полностью непрерывными, но каждый ряд является непрерывным, заменяя более медленные ядра поэлементного скалярного копирования.

media r/LocalLLaMA · 8 ч назад

BatonBot: локальный Kanban-рабочий процесс с открытым исходным кодом для AI-агентов по написанию кода

Автор представляет BatonBot — приложение с открытым исходным кодом, ориентированное на локальное использование и предназначенное для упрощения рабочих процессов AI-агентов по написанию кода за счёт снижения потребности в постоянном контроле со стороны пользователя. Инструмент решает проблему неэффективности последовательного взаимодействия агентов, позволяя пользователям настраивать задачи и визуально отслеживать прогресс на доске в стиле Kanban.

media r/LocalLLaMA · 8 ч назад

audio.cpp: 12 аудио-моделей в одном C++ рантайме с ускорением до 5x

Проект с открытым исходным кодом audio.cpp предоставляет нативный C++ фреймворк для инференса аудио-моделей, построенный на базе ggml; в настоящее время поддерживает 12 выпущенных семейств моделей, включая TTS, ASR и конвертацию голоса. Бенчмарки на Ubuntu/CUDA демонстрируют, что производительность синтеза речи (text-to-speech) в этом рантайме до 5 раз быстрее по сравнению с соответствующими эталонными реализациями на Python.

blog Simon Willison · 8 ч назад

Брюс Шнайер об ответственности ИИ и решении немецкого суда

Брюс Шнайер обсуждает недавнее решение немецкого суда, которое возлагает на Google ответственность за ошибки в его ИИ-обзорах, утверждая, что ИИ-агентов следует рассматривать как агентов организации-разработчика.

media r/LocalLLaMA · 8 ч назад

JetSpec: Спекулятивное декодирование с параллельным черновым построением дерева обеспечивает ускорение вывода LLM до 9.64x без потерь

JetSpec представляет метод спекулятивного декодирования под названием каузальное параллельное черновое построение дерева, который совместно оптимизирует стоимость и качество черновика для снижения задержки генерации LLM.