TUNEAHEAD — это легкий фреймворк, который предсказывает производительность тонкой настройки с использованием мета-векторов из описаний датасетов и коротких пробных запусков. Он превосходит базовые методы, такие как Early-Stop Extrapolation и ProxyLM, достигая RMSE в 1,47 процентных пунктах и 95,1% предсказаний в пределах ±3 процентных пунктов от истинных оценок на 370 отложенных запусках.
Внутри фреймворка Transfer Teacher вводится оценка степени неопределенности, чтобы улучшить интерпретируемость модели и эффективность обучающих данных. Оценки на CIFAR-10 показывают, что порядок кураторского обучения с учетом неопределенности превосходит случайный порядок на 8,7% при 20% данных, демонстрируя стабильные выгоды в эффективности использования данных. Однако как кураторский, так и анти-кураторский порядок не улучшают точность по сравнению с обычной тренировкой на полных данных, что указывает на то, что улучшения функции оценки сами по себе недостаточны для преодоления неудачных режимов обучения по кураторскому подходу.
SMAA-Fair расширяет статистический многокритериальный анализ приемлемости, пересчитывая ранжировки на основе групповой справедливости. В него включены метрики справедливости, такие как статистическая равномерность, rKL и nDKL, которые корректируют индексы приемлемости для лучшего отражения защищенных групп, сохраняя при этом устойчивость к неопределенности предпочтений.
В статье предложена безнадзорная система восстановления скрытых доменов и сигналов из искаженных наблюдений за счет открытия симметрий данных. Авторы моделируют наблюдения как линейные измерения сигналов из скрытого случайного поля и используют неглубокую сеть с групповыми свертками с ограничениями на стационарность и локальность для обучения скрытых симметрий и фильтров, что позволяет восстанавливать сигналы из неструктурированных данных.
QueryMarket вводит OVBAL, онлайн-рамку активного обучения на основе дисперсии, которая оценивает междупунктовую полезность каждого данных с использованием критерия D-оптимальности с экспоненциальным забвением. OVBAL выбирает образцы на основе полезности и цены, работает под условиями подвижного бюджета и адаптируется к сдвигу концептуальных моделей, демонстрируя улучшенные компромиссы между ошибками и затратами в задачах прогнозирования мощности солнечной энергии.
Статья вводит теоремы "Нет-бесплатной-справедливости", которые доказывают три фундаментальных ограничения в системах обучения. К ним относятся встроенные компромиссы между справедливостью и затратами, неизбежные расхождения в подгруппах в конечных выборках и ограничения выражаемости моделей, которые препятствуют справедливости независимо от данных. Результаты показывают, что справедливость ограничена структурой задачи, ограничениями данных и возможностями модели, а не только смещёнными данными.
В этой статье предложена методика метаклассификации одноклассовых классификаторов, при которой модели представляются в виде ранжирований нормальности и используются метрики корреляции ранжирований и ближайших соседей. Метод достигает высокой точности при классификации моделей на основе обучающих наборов данных, алгоритмов и гиперпараметров, и работает даже тогда, когда наборы данных имеют одинаковый класс. Метод эффективно классифицирует наборы данных, рассматривая несколько образцов как один вход, предлагая единое решение для моделей OCC, наборов данных и ранжирований.
McWC представляет модель, которая отдельно улавливает цикличность, тенденцию и межканальную корреляцию в долгосрочном прогнозировании временных рядов. Модель использует многослойную конструкцию цикличности, разложение по волны и многослойный перцептрон для извлечения и объединения информации высокой и низкой частот, при этом разделяя внутриканальные автокорреляции с помощью потерь в частотной области. Эксперименты на шести реальных наборах данных показывают, что McWC достигает наилучших результатов с высокой вычислительной эффективностью.
BLITZ представляет двухэтапный метод регрессии для непараметрического теста условной независимости. Сначала он удаляет широкие гладкие зависимости с помощью полиномиальной регрессии, затем применяет неглубокие деревянные регрессии для остаточного анализа нелинейных признаков, что позволяет проводить точные и быстрые тесты с улучшенной калибровкой нулевого распределения по сравнению с существующими методами.
McWC представляет модель, которая отдельно улавливает цикличность, тенденцию и межканальную корреляцию в долгосрочном прогнозировании временных рядов. Модель использует многоуровневую конструкцию цикличности, разложение по волны и многослойный перцептрон для извлечения и объединения информации высокой и низкой частоты, при этом разделяя внутриканальные автокорреляции с помощью потерь в частотной области. Эксперименты на шести реальных наборах данных показывают, что McWC достигает наилучших результатов с высокой вычислительной эффективностью.
Исследование 14 727 запросов по безопасности и приватности из 3,2 млн реальных диалогов пользователей с LLM выявляет девять категорий вопросов по безопасности и приватности. Тематический анализ и тестирование ответов показывают, что коммерческие LLM превосходят открытые модели, при этом GPT 5.5 обеспечивает хорошие ответы на 98% запросов, в то время как Llama 4 — на 47%, хотя некоторые коммерческие модели дают несогласованные ответы при повторных запусках.
Исследование оценивало несколько систем ИИ на десяти задачах исследовательского уровня математики, созданных выдающимися математиками. Результаты включают решения, сгенерированные ИИ, решения людей и отчеты редакторов, что позволяет провести подробную оценку производительности ИИ при решении сложных математических задач.
Языковые модели размера GPT-2 не могут независимо обнаружить ноль в процессе тестирования, независимо от предобучения. Однако производительность значительно улучшается при обучении на десятках до сотен примеров нуля, а предобучение на языке снижает количество необходимых примеров примерно на 50%.
При увеличении каталога инструментов агентов предприятий от 10 до 110 агентов, точность маршрутизации снижается на 16--23 процентных пункта при запросах с недостаточным описанием. Анализ с использованием оракула выявляет разрывы в извлечении и путанице, при использовании базы векторных представлений для сокращения списка результатов восстанавливается +10--11pp F1. Изучение 1435 изъятий с участием человека подтверждает реальное восстановление +10--17pp, несмотря на более низкую абсолютную производительность.
Новая система использует возмущение запроса для выявления и фильтрации структурно несогласованных парных сравнений в оценках больших языковых моделей. Внедрение проверок на согласованность на уровне графа до агрегации ранжирований позволяет снизить циклические предпочтения и повысить надежность ранжирований больших языковых моделей.
Мы предлагаем рамку оценки агентных навыков, при которой создаются реалистичные задачи и оцениваются полезность навыков путем выполнения задач. Применение к 500 реальным навыкам генерирует 1000 задач и критериев оценки, оценивая 19 конфигураций агент-моделей на проприетарных и открытых моделях. Результаты показывают значительные различия в соблюдении инструкций и росте производительности, при этом навыки существенно изменяют поведение моделей по сравнению с конфигурациями без навыков.
Исследование показало, что двухязычная настройка повышает автоматическое распознавание речи в языках с низким количеством ресурсов при точной идентификации языка. Включение токена идентификации языка на этапе инференса улучшает производительность распознавания речи при низкой точности идентификации, особенно в разнообразных парах языков из разных семей и систем письма.
Декодирование NNN выбирает документы как совокупность, которая совместно восстанавливает вектор запроса через разреженную неотрицательную линейную комбинацию. Оно строго расширяет плотное извлечение, обеспечивая обработку запросов, на которых плотное извлечение не справляется, особенно в корпусах с коррелированными документами, и достигает превосходной производительности за счет обучения векторов в конечном виде.
Glimmer 1 — это модель языка с 10 000 параметрами, обученная на 500K токенов из FineWeb-Edu. У неё контекстное окно размером 512 токенов, стандартная архитектура Llama с 16 скрытыми размерами, 2 слоями, 4 внимательными головками и одной головкой КВ, использующей GQA, и доступна на Hugging Face.
Исследование по измерению показывает, что 26 семантических после-операторов не улучшают точность на выделенных данных по сравнению с Best-of-N в замороженных малых моделях кода. Хотя два оператора — восстановление слоя выражений и адаптивный консенсус на раннем останове — обеспечивают преимущества в эффективности вычислений или восстановлении программы, ни один из них не превосходит BoN по точности. Результаты подчеркивают системные ограничения в обнаружении и покрытии ошибок, что указывает на необходимость улучшения инструментов для обнаружения ошибок и их покрытия до того, как будет рассматриваться пост-операционное рассуждение.