Препринт независимого исследователя Джейсона Ван Пхама предлагает перевод непрерывных представлений между замороженными моделями для включения управления, воспроизведения и рассуждений без редактирования весов. Работа вводит метод, при котором концепции компилируются в остаточные направления в пространстве одной модели и отображаются посредством аффинного преобразования в скрытые слои другой модели.

  • В первом эксперименте добавление отрицательного усиления к направлению концепции в Qwen2.5-0.5B сдвинуло генерации от интерпретаций живых животных к языку объектов (например, "портативная плита") для промпта о вымышленном существе.
  • Второй режим отображает упорядоченные фрагменты из Qwen3-Embedding-8B в входные слоты Llama-3.1-8B, позволяя целевой модели реконструировать уникальные пропозиции и поддерживать сопоставленное выведение.
  • Сжатие ранга 128 на этапе эмбеддинга сохранило попарное сходство (r=0.937), но снизило качество реконструкции, демонстрируя, что геометрия извлечения переживает сжатие до того, как сохраняется идентичность токенов.
  • Автор явно ограничивает утверждения, отмечая, что метод не является тонкой настройкой, памятью KV-cache или доказательством общей семантической инверсии.

Исследование устанавливает чувствительный к знаку переход остаточного состояния для конкретных семейств промптов и демонстрирует, что компактная инверсия и упорядоченное воспроизведение являются различными рабочими точками для передачи информации между моделями.