arxiv arXiv cs.LG · 8 д назад

Нарушение ввода с помощью тройных фигурных скобок в Handlebars, позволяющее использовать разделители ролей

Тройное вставление фигурных скобок в Handlebars не защищает от ввода ролей структур, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет разделители в виде точки и хеш-символов Markdown без изменения, что позволяет атакующим перехватывать поведение модели. По умолчанию экранирование не защищает большинство схем разделителей ролей и не может заменить четкое разделение инструкций и данных.

arxiv arXiv cs.CL · 8 д назад

Уязвимость ввода тройных фигурных скобок в Handlebars, позволяющая внедрять роли структур

Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структур, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно не затрагивает разделители в виде точки и хеш-символа Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей ролей и не может заменить структурное разделение инструкций и данных.

arxiv arXiv cs.AI · 8 д назад

Уязвимость ввода с помощью тройных фигурных скобок в Handlebars, позволяющая внедрять роли структуры

Тройное вставление фигурных скобок в Handlebars не защищает от внедрения ролей структуры, поскольку экранирование HTML нейтрализует только разделители в виде угловых скобок. Оно оставляет необработанными разделители в виде точки и хеш-символов Markdown, что позволяет атакующим перехватывать ходы модели. По умолчанию экранирование не защищает большинство семей разделителей и не может заменить структурное разделение инструкций и данных.

arxiv arXiv cs.CL · 9 д назад

KVEraser: Эффективное локализованное удаление контекста в LLMs

KVEraser обеспечивает эффективное локализованное удаление контекста в больших языковых моделях, заменяя только состояния кэша KV для удаленного сегмента на обученные направляющие состояния. Он достигает почти полной переработки производительности на задачах в области знаний при длинах контекста от 1K до 32K, с ростом задержки только на 24%, и превосходит другие приближенные методы при работе с длинными документами в вопросах и ответах, обеспечивая скорость в 3-4 раза превышающую полную переработку.

arxiv arXiv cs.AI · 9 д назад

BinTrack: Открытый источник спектральный QA с двоичным поиском траектории

BinTrack — это полностью открытый источник агент по спектральному вопросу, использующий двоичный поиск по траектории робота для нахождения ответов. Он достигает на 22,8% более высокой точности по сравнению с другими открытыми методами и соответствует производительности закрытых моделей на наиболее сложной глобальной категории бенчмарка SpaceLocQA. Система также обеспечивает более чем в 1,5 раза более быструю инференс и вводит GangnamLoop — реальный внешний бенчмарк, собранный с помощью четырёхногого робота.

arxiv arXiv cs.LG · 9 д назад

ROVE: обучение с помощью вмешательств человека для манипуляции робота-человека

ROVE позволяет моделям визуально-языкового-действующего типа для робота-человека эффективно обучаться манипуляционным поведением с использованием несовершенных вмешательств человека. Оно объединяет систему сбора данных с участием человека с оптимистичной оценкой ценности и перекрестным контролем тела для приоритизации высокочастотных действий и улучшения устойчивости. ROVE превосходит базовые методы на реальных задачах манипуляции с контактом благодаря итерационным циклам развертывания и вмешательства.

arxiv arXiv cs.LG · 9 д назад

HABC улучшает RL-настройку VLAs с разреженными результатами

Hierarchical Advantage-Weighted Behavior Cloning (HABC) улучшает онлайн-RL-настройку агентов визуально-языковых систем за счёт использования отдельных критических голов для жизнеспособности и эффективности. Оно объединяет их выходы через состояние-адаптивный воротник и применяет веса на переходе, при этом интервенция-ориентированная присвоение кредитов предотвращает утечку контроля. В реальных экспериментах с роботами HABC повышает показатели успеха до 92%, 88% и 38% на трёх бимануальных задачах, превосходя базовые значения SFT на 36%, 44% и 12%.

arxiv arXiv cs.LG · 9 д назад

Геометрическая модель действий для обучения политик роботов

Геометрическая модель действий (GAM) позволяет политикам роботов мыслить о трехмерных физических взаимодействиях, перепрограммируя предобученную геометрическую основную модель. GAM разделяет GFM на наблюдательный кодировщик и предиктор причинно-следственных будущих состояний, затем направляет предсказанные будущие геометрические формы и действия через один и тот же основной слой, обеспечивая точные, устойчивые и эффективные результаты в манипуляции в симуляции и на реальных роботах.

arxiv arXiv cs.AI · 7 д назад

FoMoE преодолевает порог полных копий с помощью разделенных экспертиз слоев

FoMoE представляет систему, которая распределяет экспертизные слои между рабочими, чтобы избежать полных копий модели, снижая затраты на коммуникацию до 1,42 раза по сравнению с эффективными базовыми вариантами и до 45,44 раза по сравнению с DDP. Система достигает увеличения производительности до 1,4 раза за счёт механизма пропуска токенов и демонстрирует стабильную маршрутизацию, с прогнозируемыми преимуществами, распространяющимися на модели масштаба 100B, за счёт системного моделирования.

media r/LocalLLaMA · 7 д назад

TRELLIS.2 теперь работает нативно на MLX

TRELLIS.2 был перенесён для нативной работы на MLX для процессоров Apple Silicon. Модель поддерживает входные изображения размером 512x512 и 1024x1024, время генерации составляет примерно 70 секунд для изображений 512x517 и от 300 до 700 секунд для изображений 1024x1024 на процессоре M4 Max с 128 ГБ единой памяти.

arxiv arXiv cs.LG · 8 д назад

Edge Flow: Трехмерная модель для градиентного спуска на границе стабильности

Edge Flow — это разрешимая, предсказуемая модель непрерывного времени, которая описывает динамику градиентного спуска на границе стабильности. Она разбивает динамику на центральную, направление колебаний и их амплитуду, при этом самоподдерживающаяся осточность возникает из синхронного обратного действия. Модель требует лишь двух оценок градиента и одного произведения гессиана с вектором на итерацию, и превосходит предыдущие модели по отслеживанию колебаний и объяснению нестабильностей на границе стабильности.

arxiv arXiv cs.LG · 8 д назад

Продолжительность работы как уменьшающийся капитал в памяти робота

Память на флеш-накопителе робота деградирует с каждой записью, образуя необновляемый актив. Модель цен, учитывающая износ, использует теневой ценовой коэффициент $η$ для руководства размещением памяти между ОЗУ, НВМ и облаком, при оптимальной маршрутизации зависит от того, растёт ли значение задачи с сохранением памяти. Знак ассоциации между значением и записью $χ$ варьируется в зависимости от развертывания: положительный при долгосрочном управлении, нулевой при краткосрочных задачах и отрицательный при телеманипуляции. Ограничение бюджета износа действует только на низкокачественные памяти QLC/eMMC, и хотя маршрутизация с учётом износа согласуется с задачевым значением, реальные улучшения производительности остаются не подтверждёнными в данных.

arxiv arXiv cs.LG · 8 д назад

Выпущена база данных с метками ATT&CK, объединяющая логи из различных источников в области кибербезопасности

Новая база данных объединяет системные, сетевые и браузерные логи из 870 сессий Windows, включая 70 атак и 800 случаев без нарушений. В ней присутствуют метки на уровне каждого события с идентификаторами техник MITRE ATT&CK для 12 тактик и 53 техник, используя реальные инструменты атак, такие как RAT и туннели C2. Настройка трех малых языковых моделей (SLM) с использованием LoRA повысила точность классификации блоков до 90–97% и достигла точности совпадения до 42% при идентификации техник, что демонстрирует сильную способность к логическому мышлению, несмотря на существующие трудности.

arxiv arXiv cs.LG · 8 д назад

MGUP: Моментум-Градиентное Согласование для Селективной Оптимизации

MGUP вводит механизм селективного обновления, при котором применяются большие шаги обновления к фиксированному проценту параметров в стохастической оптимизации, в то время как остальные параметры обновляются с меньшими, ненулевыми шагами. MGUP интегрируется без проблем с оптимизаторами, такими как AdamW, Lion и Muon, обеспечивая теоретические гарантии сходимости для MGUP-AdamW и демонстрируя превосходную или более стабильную производительность при обучении больших языковых моделей и задачах предобучения MAE.

arxiv arXiv cs.AI · 8 д назад

EAGG: Генерация захвата с учетом корпуса через геометрически осознанные графы условий

EAGG представляет генератор захвата, который выравнивает структуру корпуса в общем модели с использованием топологически осознанных графов и геометрически осознанных токенов. Он достигает среднего успеха захвата в 56,17% на MultiGripperGrasp, что соответствует специализированным моделям с погрешностью в 1,10 процентных пунктах, и снижает медианное расстояние контакта с 0,239 см до 0,189 см.

arxiv arXiv cs.AI · 8 д назад

Продолжительность работы флеш-памяти как износа капитала в памяти робота

Продолжительность работы флеш-памяти робота является невозобновляемым активом, который изнашивается при каждом записи. Модель цен с учетом износа вводит теневую цену η, чтобы направлять размещение памяти между ОЗУ, НВМ и облаком, при этом оптимальное направление зависит от ассоциации значения-записи χ. Эмпирические измерения показывают, что χ положительна при долгосрочных манипуляциях, равна нулю при коротких задачах и отрицательна при телеманипуляции, и бюджет износа является ограничивающим только для низкокачественных памятей QLC/eMMC, где управление с учетом износа влияет на направление, основываясь на значении задачи, без улучшения производительности.

arxiv arXiv cs.CL · 8 д назад

SwiftTrans повышает эффективность перевода кода на основе ЛЛМ

SwiftTrans решает проблемы эффективности во время выполнения в переводе кода на основе ЛЛМ, вводя Multi-Perspective Exploration и Difference-Aware Selection. Фреймворк расширяет CodeNet, F2SBench и вводит SwiftBench для оценки производительности во время выполнения, демонстрируя стабильное улучшение как по правильности, так и по эффективности на различных тестовых наборах.

arxiv arXiv cs.AI · 9 д назад

Единая кausal-оригин топология для сдвигов распределения в RL

Эта статья вводит единую кausal-оригин топологию, которая классифицирует сдвиги распределения в репликационном обучении на внутренние, агент-ориентированные и внешние, среда-ориентированные источники. Она объединяет обобщение ID/OOD и непостоянные ситуации, представляя сдвиги как структурированные изменения в процессе взаимодействия агента и среды, используя разложение POMDP и подход с смещённой границей времени.

media Latent Space · 9 д назад

Сатя Наделла о Loopcraft и экосистемах Frontier

Генеральный директор Microsoft Сатя Наделла представляет 'Loopcraft' как новую теорию компании, подчеркивая, что истинная возможность в ИИ заключается не в выборе самого лучшего модели, а в создании учебных циклов, которые умножают человеческие и токенизированные активы. Он утверждает, что приоритет должен быть направлен на создание экосистем frontier, в которых каждая организация может владеть и развивать свою институциональную информацию, обеспечивая широкое распространение ценности между отраслями и странами.