korshunov.ai
Русский
Все статьи Страница 1 / 111
arxiv arXiv cs.LG · 6 ч назад

Action-BED: Задачно-ориентированный байесовский экспериментальный дизайн с однократно некорректными целевыми функциями

В статье представлен Action-BED, новая рамка для байесовского экспериментального дизайна, которая формулирует задачу через ожидаемые будущие потери на последующих действиях, а не через уменьшение неопределенности. Этот подход преобразует традиционно двукратно некорректные целевые функции в однократно некорректные, которые можно совместно оптимизировать с помощью стохастических градиентов.
arxiv arXiv cs.LG · 6 ч назад

MAS-PromptBench: Когда оптимизация промптов улучшает системы с несколькими агентами на базе LLM?

В данном исследовании систематически изучается влияние оптимизации системных промптов на многоагентные системы (MAS) путем бенчмаркинга двух оптимизаторов в различных конфигурациях задач, рабочих процессов и размеров команд.
arxiv arXiv cs.LG · 6 ч назад

О пределах языковых моделей, управляемых промптами, как универсальных обучаемых систем

В данной статье утверждается, что большие языковые модели не являются универсальными решателями задач исключительно посредством промптов из-за фундаментальных ограничений языка как интерфейса коммуникации и требований согласования. Авторы анализируют взаимодействие пользователя с системой как игру дешёвой речи для вывода границ PAC-Bayes, разделяющих ошибку оценки и структурные ограничения.
arxiv arXiv cs.LG · 6 ч назад

Сужающиеся языковые модели: улучшение производительности за счёт распределения ёмкости с учётом глубины

В статье представлены Сужающиеся языковые модели (TLMs), архитектурный принцип, который выделяет большую часть параметрической ёмкости ранним слоям и меньшую — поздним в рамках фиксированного бюджета. Этот подход бросает вызов стандартной практике равномерной ширины слоёв, опираясь на данные о том, что поздние слои в основном уточняют остаточный поток (residual stream), а не преобразуют его.
arxiv arXiv cs.LG · 6 ч назад

PsyBridge: Гибридная интеллектуальная система для многомерной оценки психического здоровья

В данном исследовании представлена PsyBridge — гибридная интеллектуальная система, разработанная для преодоления ограничений изолированных инструментов скрининга психического здоровья за счет интеграции клинически валидированных оценок с профилированием когнитивных функций и личности. Система использует модульную архитектуру и механизм взвешенной агрегации для генерации интерпретируемых классификаций рисков и рекомендаций по принятию решений.
arxiv arXiv cs.LG · 6 ч назад

Открытая проблема: Эффективен ли AdamW при тяжёлохвостом шуме?

В данной статье рассматривается отсутствие строгой теории сходимости для оптимизатора AdamW в режимах с тяжёлохвостым шумом стохастического градиента, что часто встречается при предварительном обучении больших языковых моделей. Ставится вопрос о том, может ли AdamW сходиться в таких условиях или же его аккумулятор второго момента создаёт реальное препятствие.
arxiv arXiv cs.LG · 6 ч назад

Семантический просмотр: управляемое разнообразие для генерации изображений

В данной статье представлен метод Semantic Browsing, предназначенный для создания контролируемого разнообразия в моделях преобразования текста в изображение за счёт внедрения структуры в генерируемые образцы, что позволяет преодолеть недостаток осмысленных вариаций в современных системах. Подход обеспечивает разнообразие непосредственно на текстовом уровне, а не полагается на стохастические изменения внутри модели.
media r/LocalLLaMA · 7 ч назад

Пользователь реализует выполнение C++ инструмента с помощью MiMo-V2.5-GGUF

Пользователь успешно использовал модель MiMo-V2.5-GGUF для написания встроенного инструмента llama.cpp для выполнения кода на C++ и получения результатов. Реализация была выполнена с использованием opencode, где модель сгенерировала необходимый код на основе конкретных инструкций.
media r/LocalLLaMA · 7 ч назад

Почему так много мусорных дообученных моделей на HuggingFace?

Автор отмечает, что большинство дообученных моделей, загруженных на Hugging Face, работают хуже своих базовых аналогов, что делает их бесполезными. Это распространение объясняется тем, что люди используют эти модели как форму профессиональной сертификации для получения высокооплачиваемых позиций в сфере ИИ.
github llama.cpp · 7 ч назад

Выпуск llama.cpp b9835 с исправлениями остановки и пропуска рассуждений в интерфейсе

Проект llama.cpp выпустил версию b9835, которая включает исправление функциональности остановки и пропуска рассуждений в режиме одной модели. Это обновление устраняет определенные проблемы в пользовательском интерфейсе для улучшения управления во время вывода модели.
media r/LocalLLaMA · 9 ч назад

Скрипт для мониторинга llama_cpp и анализа использования памяти

Пользователь поделился скриптом на Bash, предназначенным для парсинга подробного вывода llama.cpp, предоставляющим четкую сводку требований к VRAM/RAM и метрик производительности во время выполнения. Этот инструмент решает проблему предсказания потребностей в памяти для различных квантизаций моделей путем группировки распределений буферов по функциям и бэкендам.
media r/LocalLLaMA · 9 ч назад

Обновление Ornith-1.0-35B GGUF: нативный MTP для спекулятивного декодирования + полная поддержка обслуживания/TTFT/длинного контекста (llama.cpp, tp=1)

В этой статье сообщается об обновлении модели Ornith-1.0-35B, включающем нативную голову черновика MTP, привитую к корпусу IQ4_XS для самоспекулятивного декодирования в llama.cpp. Автор предоставляет комплексные метрики производительности, включая пропускную способность, время до первого токена (TTFT) и возможности работы с длинным контекстом на одном GPU RTX PRO 6000 Blackwell.
media r/LocalLLaMA · 10 ч назад

Пользователь Reddit опровергает утверждения Дарио Амодей о закрытом ИИ

Пост на Reddit ставит под сомнение заявление Дарио Амодей о том, что модели с открытым исходным кодом уступают проприетарным системам, указывая на его непонимание технологии. Автор утверждает, что Амодей не осознаёт прозрачность и возможности современных моделей с открытыми весами.
media Hugging Face Forums · 10 ч назад

Гипотетический вопрос о обучении ИИ бинарному коду

Пользователь форума задаёт спекулятивный вопрос о том, приведёт ли обучение нейронных сетей или систем ИИ пониманию бинарного кода к значительному улучшению их общих возможностей, особенно в задачах программирования.
media Hugging Face Forums · 10 ч назад

Концепция: Обмен данными для обучения моделей ИИ

Пользователь предлагает концепцию веб-сайта, где люди обмениваются данными для обучения моделей ИИ, исключая необходимость денежных транзакций. Система работает на основе кредитной экономики, где пользователи получают стартовый набор кредитов и размещают задания за вознаграждение для конкретных потребностей в данных.
media Interconnects · 10 ч назад

Артефакты 22: Zyphra, Cohere и Poolside расширяют ширину экосистемы

Ландшафт открытых ИИ-моделей становится все более разнообразным, уходя от доминирования нескольких китайских игроков к более широкому смешению организаций, включая суверенные ИИ-инициативы, Big Tech и продуктовые компании.
github llama.cpp · 11 ч назад

Выпуск llama.cpp b9833: парсер MiniCPM5 и мультиплатформенные бинарники

Проект llama.cpp выпустил версию b9833, в которой представлен выделенный парсер для модели MiniCPM5 наряду с различными исправлениями ошибок и рефакторингом. Это обновление включает поддержку парсинга вызовов инструментов, упрощение грамматики и исправленное поведение Jinja API для обеспечения совместимости со стандартами Jinja2.
github llama.cpp · 12 ч назад

Выпуск llama.cpp b9832 добавляет флаг отладки --dump-prog

Проект llama.cpp выпустил версию b9832, вводя новую опцию командной строки `--dump-prog` для движка шаблонов Jinja, чтобы помочь в отладке. Это обновление также включает предварительно собранные бинарные файлы для macOS, Linux, Android, Windows и openEuler для различных архитектур CPU и GPU.