독립 연구자 제이슨 반 팜은 가중치 편집 없이 조종, 회상 및 추론을 가능하게 하기 위해 동결된 모델 간 연속 표현을 변환하는 논문을 발표했습니다. 이 연구는 개념을 한 모델의 공간에서 잔차 방향으로 컴파일하고 아핀 변환을 통해 다른 모델의 숨겨진 레이어로 매핑하는 방법을 제시합니다.

  • 첫 번째 실험에서 Qwen2.5-0.5B의 개념 방향에 음수 이득을 추가하면, 가상의 생물체 프롬프트에 대해 생명체 읽기에서 사물 언어(예: "휴대용 스토브")로 생성이 전환되었습니다.
  • 두 번째 체제는 Qwen3-Embedding-8B에서 정렬된 조각을 Llama-3.1-8B 입력 슬롯으로 매핑하여 대상 모델이 비표준 명제를 재구성하고 일치하는 추론을 지원할 수 있게 합니다.
  • 임베딩 단계에서 랭크 128 압축은 쌍별 유사성(r=0.937)을 유지했지만 재구성을 저하시켰으며, 이는 토큰 정체성보다 먼저 검색 기하학이 압축을 견뎌낸다는 것을 보여줍니다.
  • 저자는 이 방법이 파인튜닝도, KV-캐시 메모리도, 일반적 의미론적 전복의 증명도 아니라고 명시적으로 주장을 제한합니다.

이 연구는 특정 프롬프트 계열에 대해 부호 민감한 잔차 상태 전이를 확립하고, 컴팩트한 전역과 정렬된 회상이 교차 모델 정보 전달을 위한 서로 다른 작동 지점임을 입증했습니다.