arxiv arXiv cs.AI · 9 д назад

HAMON: Пассивная оптическая предсказательная система для прогнозирования временных рядов на долгосрочной основе

HAMON использует пассивные оптические компоненты для выполнения прогнозирования временных рядов на долгосрочной основе, превосходя лучшие цифровые модели на ETTm2 во всех горизонтах и на ETTh2 на всех, кроме самого длинного горизонта. Оно достигает снижения MSE до 14% и использует физическое распространение оптического сигнала без тренируемых цифровых слоев, демонстрируя, что пассивное оптическое смешивание может обеспечивать конкурентные прогнозы.

arxiv arXiv cs.AI · 9 д назад

Фаза в нейронных представлениях: внутренний тест Оппенгейма-Лима

Классификаторы изображений, такие как PRISM2D, GFNet и ViT-B/16, показывают, что фаза, а не модуль, определяет предсказания в скрытых слоях. ResNet-50 раскрывает скрытый код знака в поздних блоках, что указывает на то, что идентичность фазы/знака существует во всех архитектурах, хотя она выражается по-разному из-за механизмов активации и выдачи.

media Latent Space · 9 д назад

Сатя Наделла о Loopcraft и экосистемах Frontier

Генеральный директор Microsoft Сатя Наделла представляет 'Loopcraft' как новую теорию компании, подчеркивая, что истинная возможность в ИИ заключается не в выборе самого лучшего модели, а в создании учебных циклов, которые умножают человеческие и токенизированные активы. Он утверждает, что приоритет должен быть направлен на создание экосистем frontier, в которых каждая организация может владеть и развивать свою институциональную информацию, обеспечивая широкое распространение ценности между отраслями и странами.

arxiv arXiv cs.LG · 9 д назад

Оптимизация Hyperball для ускорения обучения языковых моделей

Hyperball — это простой обертка оптимизатора, которая устанавливает фиксированные нормы Фробениуса для матриц весов и их обновлений. Она повышает скорость обучения и передачу скорости обучения в больших моделях, обеспечивая ускорение на 20--30% по количеству токенов по сравнению с базовыми вариантами с весовым уменьшением на моделях до 1,2 миллиарда параметров.

arxiv arXiv cs.LG · 9 д назад

Факторизованные нейронные операторы разбивают динамические и устойчивые реакции

Факторизованные нейронные операторы (FaNO) разбивают спектральные представления на эквивариантные динамические и инвариантные устойчивые реакции. Такая факторизованная структура обеспечивает лучшую интерпретируемость, обобщение и стабильные предсказания на разных масштабах, областях и физических режимах.

arxiv arXiv cs.LG · 9 д назад

CEAP снижает дисперсию в открытии циркуитов в LLM

CEAP, новый метод открытия циркуитов, значительно снижает дисперсию повторного выбора по сравнению с EAP-IG. В статье показывается, что дисперсия при переформулировке возникает из-за активации разных циркуитов промптовыми шаблонами, что указывает на то, что LLM трудно направлять при различных входах. Дисперсия по образцам в целом является бенефичной, поскольку плохие оценки неподлинности возникают из-за селективного масштабирования вклада, а не из-за дефектов циркуитов.

arxiv arXiv cs.LG · 9 д назад

Адаптивный функциональный градиентный спуск с гарантиями сходимости

Мы предлагаем новый алгоритм функционального градиентного спуска, который адаптирует свою представляемость во время оптимизации. Метод достигает сходимости к стационарной точке при гладких потерь и к глобальному минимуму при гладкости и условии Поляка-Лојасевича, несмотря на использование конечномерных приближений. Он превосходит как фиксированные приближения FGD, так и базовые нейронные сети на задачах регрессии, решения уравнений в частных производных и компьютерного зрения.

arxiv arXiv cs.LG · 9 д назад

Единая кausalная классификация источников смещений распределений в RL

Данная статья предлагает единую кausalную классификацию источников смещений распределений в репликационном обучении, связывая обобщение в условиях ID/OOD с нестационарными ситуациями. В работе взаимодействие агента и среды разбивается с помощью рамки POMDP, идентифицируются смещения внутреннего, агент-ориентированного и внешнего, среды-ориентированного характера, с явными, скрытыми и гибридными типами, определенными границей смещения во времени. В работе представлено оценочное средство для измерения влияния смещения через метрики деградации и восстановления производительности, что позволяет проводить систематический анализ устойчивости RL.

arxiv arXiv cs.LG · 9 д назад

Ключевые свойства для эффективного рассуждения код-интерпретатора

Исследование выявляет внешние (ключевые токены) и внутренние (когнитивные поведения) свойства, которые улучшают рассуждение код-интерпретатора в больших языковых моделях. Модели с более сильным рассуждением демонстрируют более высокую частоту использования верификации, отката и обратного вывода, при этом эти свойства повышают производительность во время инференса и обучения, снижают избыточное мышление и повышают эффективность токенов.

arxiv arXiv cs.LG · 9 д назад

CrossMaps: Семантическая картирование с учетом уверенности для навигации ровера

CrossMaps — это реальное время, с учетом уверенности, семантическое картирование, которое использует данные RGB-D для создания карт, доступных для запросов на языке. Оно интегрирует многомасштабные векторные вложения CLIP с архитектурой двойной памяти — краткосрочной и долгосрочной памяти — для агрегации визуальных наблюдений и стимулирования согласованных, уверенных ячеек как постоянных семантических ориентиров. Система позволяет использовать естественные языковые запросы для направления навигации ровера через семантические тепловые карты.

arxiv arXiv cs.LG · 9 д назад

CircuitLasso: масштабируемое обучение схем для интерпретируемости LLM

CircuitLasso обеспечивает масштабируемое обучение схем в больших языковых моделях с использованием разреженной линейной регрессии. Он восстанавливает схемы с структурной точностью, соответствующей самым передовым методам, при значительно меньших вычислительных затратах, и демонстрирует семантическое распространение, понятное для человека, через компоненты модели. Полученные схемы обеспечивают сопоставимую производительность на задаче обобщения на области с уменьшенными затратами.

arxiv arXiv cs.LG · 9 д назад

Непараметрический двухвыборочный тест с использованием PReLU-IPM

Исследование вводит PReLU-IPM, новый интегральный показатель вероятности, основанный на нейронном дискриминаторе с одним узлом. Полученный тест PReLU-TST является непараметрическим, согласованным и асимптотически эквивалентным стандартным тестам на основе IPM, демонстрируя более высокую мощность или конкурентную производительность на симулированных и реальных данных.

arxiv arXiv cs.LG · 9 д назад

Каузальный подход к аудиту раскрытий синтетических данных

Модель-независимый подход к аудиту обнаруживает и различает настоящие и фантомные раскрытия в синтетических данных. Он использует только синтетические выводы и контрольную выборку, чтобы проводить статистические проверки, обеспечивая более строгие границы утечки конфиденциальности, чем ранее известные методы, без необходимости доступа к модели или дополнительного обучения.

arxiv arXiv cs.LG · 9 д назад

Маппинг латентного пространства для интерпретируемой молекулярной координаты на основе сигналов нанопоры

Контрастный кодировщик, обученный на симулированных сигналах, отображает сигналы баркодов ДНК в интерпретируемую систему молекулярных координат. Метод позволяет идентифицировать молекулы за один проход, снижая вычислительную стоимость на три порядка и позволяя объединять данные с разных устройств, при этом оставаясь нечувствительным к условиям получения сигналов.

arxiv arXiv cs.LG · 9 д назад

Гибридная конволюционная VAE для криптовалютных поверхностей волатильности

Конволюционный вариационный автоэнкодер, обученный на 6034 поверхностях опционов Binance для BTC и ETH, достигает ошибки в 0,94-1,56 волатильных пунктов при маскировке от 10% до 50%. Гибридный предиктор снижает ошибку с 7,00 до 0,83 волатильных пунктов при маскировке на 50%, превосходя параметрическую перестройку в структурированных пустотах и обнаруживая аномальные рыночные события без надзора.

arxiv arXiv cs.LG · 9 д назад

Нейронные сети фиксированного размера достигают произвольного приближения в Соболе

Новая функция активации позволяет нейронным сетям фиксированного размера приближать любую функцию в пространствах Соболе $W^{s,\infty}((a,b)^d)$ с произвольной точностью в норме $W^{s-1,\infty}$. Результаты используют элементарные функции активации, такие как EUAF и DUAF$_\infty$, с явными ограничениями по ширине и глубине, и распространяются на сигмоидальные варианты $\widetilde{\mathrm{DUAF}}_n$, сохраняющие точность для всех $1\leq s\leq n$.

arxiv arXiv cs.LG · 9 д назад

Метод резидуального обучения с использованием направляющего контроля ошибки для балансировки пяти шаров на реальных роботах

Метод резидуального обучения с использованием направляющего контроля ошибки обеспечивает стабильную балансировку пяти шаров на реальных роботах, достигая стабильности с второго попытки. Система превосходит временные рамки практики человека и зависит одновременно от направляющей обратной связи и информативного предварительного знания, при этом фиксированное обновление Ньютона с постоянной Якобианом оказывается наиболее надежным.

arxiv arXiv cs.LG · 9 д назад

SPaiK: Масштабируемое обучение парных ядер с помощью статистического обобщенного векторного трюка

SPaiK представляет масштабируемый метод обучения ядер для парных задач с использованием статистического обобщенного векторного трюка (sGVT). Эта инновация снижает вычислительные и памятные требования, позволяя эффективно обучать на больших наборах данных и делает парное обучение ядер возможным для ранее неосуществимых размеров данных.

arxiv arXiv cs.LG · 9 д назад

Статистическая упрощение разделяет инференс от обновления состояния

Новая методика разделяет инференс в машинном обучении от сохранения состояния в системах потока с использованием статистической упрощения. Она целенаправленно инициирует долговременные обновления состояния на основе информативности событий, снижая нагрузку на путь сохранения на 90% без ущерба для полезности в последующих этапах или введения системных ошибок.

arxiv arXiv cs.LG · 9 д назад

Dynestyx: Вероятностное программирование для динамических систем

Dynestyx — это библиотека вероятностного программирования, которая обеспечивает первоклассную поддержку для моделей пространства состояний. Она позволяет пользователям задавать произвольные предпосылки для дискретных или непрерывных динамических систем, проводить инференс на смешанных данных и получать оценки состояний и параметров с принципиальной оценкой неопределённости.