Все статьи
arxiv arXiv cs.CL · 4 ч назад

Обновление синтаксических убеждений как фактор сложности обработки предложений с эффектом сада-лабиринта

В статье предлагается модель обновления синтаксических убеждений (Syntactic Belief Update), которая предсказывает сложность обработки в предложениях с эффектом сада-лабиринта путем измерения величины обновлений синтаксических убеждений через обобщенное расхождение Реньи. Этот подход превосходит лексическую неожиданность, обеспечивая лучшее соответствие данным времени чтения людьми.

arxiv arXiv cs.CL · 4 ч назад

Вымощено истинными намерениями: обучение с учётом намерений улучшает классификацию безопасности LLM в различных режимах обучения

Авторы представляют AIMS, набор из 1724 сложных промптов для безопасности, аннотированных человеком, дополненных описаниями намерений и метками вреда, для оценки обучения с учётом намерений в нескольких режимах. Они утверждают, что моделирование пользовательского намерения как явного сигнала значительно повышает устойчивость классификаторов безопасности.

arxiv arXiv cs.CL · 4 ч назад

Задавайте вопросы, а не осуждайте: бинарные вопросы для интерпретируемой оценки и самоусовершенствования LLM

Авторы предлагают BINEVAL — фреймворк, который разбивает критерии оценки на атомарные бинарные вопросы для получения интерпретируемых многомерных оценок больших языковых моделей. Этот подход генерирует прозрачную обратную связь на уровне вопросов и калиброванные общие баллы, заставляя LLM независимо отвечать на детализированные вопросы оценки для каждого вывода.

github llama.cpp · 4 ч назад

Выпуск llama.cpp b9827 добавляет оптимизацию асинхронного копирования 2D в CUDA

Выпуск llama.cpp b9827 вводит оптимизацию производительности для CUDA, добавляя быстрый путь cudaMemcpy2DAsync в функцию ggml_cuda_cpy. Это изменение ускоряет копирование с шагом одинакового типа и формы, где тензоры не являются полностью непрерывными, но каждый ряд является непрерывным, заменяя более медленные ядра поэлементного скалярного копирования.

media r/LocalLLaMA · 5 ч назад

BatonBot: локальный Kanban-рабочий процесс с открытым исходным кодом для AI-агентов по написанию кода

Автор представляет BatonBot — приложение с открытым исходным кодом, ориентированное на локальное использование и предназначенное для упрощения рабочих процессов AI-агентов по написанию кода за счёт снижения потребности в постоянном контроле со стороны пользователя. Инструмент решает проблему неэффективности последовательного взаимодействия агентов, позволяя пользователям настраивать задачи и визуально отслеживать прогресс на доске в стиле Kanban.

media r/LocalLLaMA · 5 ч назад

audio.cpp: 12 аудио-моделей в одном C++ рантайме с ускорением до 5x

Проект с открытым исходным кодом audio.cpp предоставляет нативный C++ фреймворк для инференса аудио-моделей, построенный на базе ggml; в настоящее время поддерживает 12 выпущенных семейств моделей, включая TTS, ASR и конвертацию голоса. Бенчмарки на Ubuntu/CUDA демонстрируют, что производительность синтеза речи (text-to-speech) в этом рантайме до 5 раз быстрее по сравнению с соответствующими эталонными реализациями на Python.

blog Simon Willison · 5 ч назад

Брюс Шнайер об ответственности ИИ и решении немецкого суда

Брюс Шнайер обсуждает недавнее решение немецкого суда, которое возлагает на Google ответственность за ошибки в его ИИ-обзорах, утверждая, что ИИ-агентов следует рассматривать как агентов организации-разработчика.

media r/LocalLLaMA · 5 ч назад

JetSpec: Спекулятивное декодирование с параллельным черновым построением дерева обеспечивает ускорение вывода LLM до 9.64x без потерь

JetSpec представляет метод спекулятивного декодирования под названием каузальное параллельное черновое построение дерева, который совместно оптимизирует стоимость и качество черновика для снижения задержки генерации LLM.

media r/LocalLLaMA · 5 ч назад

Сброс энергопотребления NVIDIA RTX 3090 в режиме ожидания

Пользователь сообщает, что при версии драйвера 595.71.05 две карты RTX 3090 ранее могли снижать потребление до 13-15 Вт в простое, но одна карта теперь застряла на уровне 24-30 Вт при нулевой активности и выключенных вентиляторах.

media r/LocalLLaMA · 5 ч назад

Цены на видеокарты сумасшедшие, стоит ли покупать вторую карту?

Пользователь r/LocalLLaMA рассматривает возможность добавления второй GPU в свою систему для локального вывода LLM, но его останавливает резкий рост цен на карты AMD Radeon RX 7900 XTX и XT. Автор поста отмечает, что новые цены на RX 7900 XTX выросли до 1200€, подержанные экземпляры стоят около 900€, а бюджетная RX 7900 XT начинается от 700€.

media r/LocalLLaMA · 5 ч назад

Обработка изоляции на уровне агентов и жизненного цикла окружения в библиотеке оркестрации

Автор подробно описывает архитектуру библиотеки оркестрации, независимой от фреймворка (harness-agnostic), уделяя особое внимание управлению окружением агентов через различные абстракции рабочего пространства и времени выполнения. Система определяет четыре последовательных состояния — unprovisioned, provisioned, started и retired — для контроля жизненного цикла каждого экземпляра агента.

media r/LocalLLaMA · 5 ч назад

Qwen 3.6 27b GLM 5.2 fine-tune?

Пользователь Reddit задаётся вопросом об отсутствии модели Qwen 3.6 27B, дообученной с помощью GLM 5.2, отмечая, что обе модели имеют открытые веса, а GLM известен своими способностями к рассуждению. Автор поста предполагает, что отсутствие такого дообучения может быть связано с недавним выходом GLM 5.2 или общим отсутствием интереса сообщества к объединению этих конкретных моделей.

github llama.cpp · 5 ч назад

Выпуск llama.cpp b9825: исправление Vulkan и кроссплатформенные бинарники

Проект llama.cpp выпустил версию b9825, которая включает исправление оператора шага Vulkan при обработке нулевых входных данных. Это обновление предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов.

github llama.cpp · 5 ч назад

Релиз llama.cpp b9826 с исправлением нормализации SYCL

Проект llama.cpp опубликовал релиз b9826, включающий исправление неудачных случаев модульных тестов, связанных с функцией нормализации в SYCL. Это обновление предоставляет предварительно собранные двоичные файлы и фреймворки для нескольких платформ и аппаратных ускорителей.

media Hugging Face Forums · 6 ч назад

Чек-лист, который заставляет ИИ остановиться

В этой статье утверждается, что агенты ИИ часто выполняют действия на основе неполных инструкций, догадываясь о недостающей информации; эта проблема называется «сбоем подтверждения до выполнения». Предлагается структура с принудительным выполнением во время выполнения, требующая проверки известных и неизвестных данных перед любым действием.

github llama.cpp · 6 ч назад

Выпуск llama.cpp b9822 с бинарными файлами для macOS, Linux и Windows

Проект llama.cpp опубликовал выпуск b9822, предоставляющий предварительно собранные бинарные файлы для macOS, iOS, Linux, Android и Windows. Это обновление включает исправление для опции --no-common в тесте chat-template и распределяет сборки по различным аппаратным архитектурам и ускорителям.

github llama.cpp · 7 ч назад

Выпуск llama.cpp b9823 добавляет OpenVINO для Windows и обновляет бинарные файлы

Проект llama.cpp выпустил версию b9823, предоставляя предварительно собранные бинарные файлы для платформ macOS, iOS, Linux, Android, Windows и openEuler. Ключевым изменением в этом выпуске является добавление сборки OpenVINO для Windows в конвейер проверки релизов.