Исследователи предлагают новый метод с самонастраивающимся отбором, названный Self-Filtering, который обучает модель CLIP на эволюционирующем наборе данных, отобранном через итеративную самодиагностику. Этот подход балансирует между отфильтрованными высоковероятными чистыми примерами и разнообразными образцами из всего распределения, чтобы снизить уровень шума в крупномасштабных наборах данных для визуального языка.
Авторы предлагают Hedgementation, новый бенчмарк, разработанный для оценки моделей машинного обучения при картографировании живых изгородей по данным дистанционного зондирования в масштабах страны с пространственным разрешением 10 м². Эта инициатива объединяет и гармонизирует несколько продуктов дистанционного зондирования и эталонных меток, полученных из французского реестра живых изгородей.
В данной статье предлагается активная парадигма непрерывного обучения для моделей Vision-Language-Action (VLA), направленная на устранение неэффективности пассивного обучения с подражанием. Авторы демонстрируют, что сбор данных, направляемый неопределённостью, повышает эффективность дообучения, но приводит к катастрофическому забыванию при исключительно использовании данных восстановления.
В статье представлен DiT-Reward — метод, который превращает предварительно обученный Diffusion Transformer для генерации изображений по тексту в модель вознаграждения за счёт обработки почти чистых латентных представлений изображений и агрегирования текстово-условных представлений по слоям трансформера. Этот подход использует генеративные представления для оценки качества сгенерированных изображений без необходимости отдельных целей обучения.
В статье показано, что направленное обновление Muown эквивалентно римановскому шагу по нормализованным направлениям, при этом величина ненормализованной параметризации модулирует угловой шаг. Это понимание объясняет стабильность размера шага Muown и мотивирует разработку AngularMuown, которая оптимизирует напрямую по нормализованным направлениям с явным, настраиваемым по расписанию угловым множителем.
Авторы предлагают метод преобразования изначально разреженных вознаграждений за результат в обучении с подкреплением (RL) в плотные процессные вознаграждения путем обучения дискриминатора для различения успешных и неуспешных эпизодов. Этот подход стимулирует политику совпадать с посещениями состояний-действий успешных эпизод, избегая при этом посещений неуспешных, обеспечивая плотную обратную связь по прогрессу без изменения оптимальной политики.
Hack Your Summer — это бесплатный четырехнедельный высокоинтенсивный производственный спринт, разработанный для студентов бакалавриата, магистратуры и недавних выпускников, чтобы они могли создать осязаемые работы, доступные широкой публике. Инициатива служит альтернативой традиционным стажировкам на фоне кризиса сокращения доступности стажировок в США.
Джон Юделл выступает против фразы «человек в контуре», поскольку она передаёт полномочия машинам, предлагая вместо этого, чтобы люди приглашали агентов в свои существующие рабочие процессы как членов команды.
Neofold — это игра-кликер с коллекционированием существ, использующая локальную диффузионную модель для генерации бесконечного разнообразия питомцев. Игра недавно вышла и доступна в Steam.
В данной работе показано, что способность моделей диффузии использовать низкоразмерную структуру для ускорения сэмплирования является устойчивым свойством, не зависящим от конкретных выборов коэффициентов обновления. Авторы доказывают, что широкий класс коэффициентов позволяет генерировать ε-точную выборку за O(k/ε) итераций, независимо от размерности пространства.
В данной статье представлен подход для последовательного приближения функций в медленно меняющихся последовательностях, использующий повторное применение предыдущих запросов для снижения общих вычислительных затрат. Авторы представляют новые результаты последовательной оценки для степеней матриц, спектральных плотностей, метода Монте-Карло и краевых задач для дифференциальных уравнений в частных производных.
В статье представлен Action-BED, новая рамка для байесовского экспериментального дизайна, которая формулирует задачу через ожидаемые будущие потери на последующих действиях, а не через уменьшение неопределенности. Этот подход преобразует традиционно двукратно некорректные целевые функции в однократно некорректные, которые можно совместно оптимизировать с помощью стохастических градиентов.
В данном исследовании систематически изучается влияние оптимизации системных промптов на многоагентные системы (MAS) путем бенчмаркинга двух оптимизаторов в различных конфигурациях задач, рабочих процессов и размеров команд.
В данной статье утверждается, что большие языковые модели не являются универсальными решателями задач исключительно посредством промптов из-за фундаментальных ограничений языка как интерфейса коммуникации и требований согласования. Авторы анализируют взаимодействие пользователя с системой как игру дешёвой речи для вывода границ PAC-Bayes, разделяющих ошибку оценки и структурные ограничения.
В статье представлены Сужающиеся языковые модели (TLMs), архитектурный принцип, который выделяет большую часть параметрической ёмкости ранним слоям и меньшую — поздним в рамках фиксированного бюджета. Этот подход бросает вызов стандартной практике равномерной ширины слоёв, опираясь на данные о том, что поздние слои в основном уточняют остаточный поток (residual stream), а не преобразуют его.
В данном исследовании представлена PsyBridge — гибридная интеллектуальная система, разработанная для преодоления ограничений изолированных инструментов скрининга психического здоровья за счет интеграции клинически валидированных оценок с профилированием когнитивных функций и личности. Система использует модульную архитектуру и механизм взвешенной агрегации для генерации интерпретируемых классификаций рисков и рекомендаций по принятию решений.
В данной статье рассматривается отсутствие строгой теории сходимости для оптимизатора AdamW в режимах с тяжёлохвостым шумом стохастического градиента, что часто встречается при предварительном обучении больших языковых моделей. Ставится вопрос о том, может ли AdamW сходиться в таких условиях или же его аккумулятор второго момента создаёт реальное препятствие.
В данной статье представлен метод Semantic Browsing, предназначенный для создания контролируемого разнообразия в моделях преобразования текста в изображение за счёт внедрения структуры в генерируемые образцы, что позволяет преодолеть недостаток осмысленных вариаций в современных системах. Подход обеспечивает разнообразие непосредственно на текстовом уровне, а не полагается на стохастические изменения внутри модели.
Пользователь успешно использовал модель MiMo-V2.5-GGUF для написания встроенного инструмента llama.cpp для выполнения кода на C++ и получения результатов. Реализация была выполнена с использованием opencode, где модель сгенерировала необходимый код на основе конкретных инструкций.
Автор отмечает, что большинство дообученных моделей, загруженных на Hugging Face, работают хуже своих базовых аналогов, что делает их бесполезными. Это распространение объясняется тем, что люди используют эти модели как форму профессиональной сертификации для получения высокооплачиваемых позиций в сфере ИИ.