고정 상태 비선형 토큰 믹서인 ThetaScan v0.1의 연구 미리보기가 오픈소스 구현으로 출시되었습니다. 이 아키텍처는 각 토큰이 진화하는 빠른 상태가 아닌 현재 입력과 공유 매개변수로부터 메모리 쓰기를 계산하도록 보장하여, 쓰기가 결합적 접두사 스캔을 통해 합성되도록 합니다.
공개 저장소에는 여러 핵심 구성 요소가 포함되어 있습니다: 로컬 야코비안 또는 가우스-뉴턴 빠른 가중치 업데이트를 위한 ThetaScan-GN과 정규화된 양수 특징 분자/질량 메모리를 위한 ThetaScan-Kernel입니다. 이 구현은 ReLU², 임계값 처리된 ReLU², SiLU, SwiGLU와 같은 다양한 커널 특징 맵을 지원하며, 정규화된 읽기, EMA/최근성 뱅크 및 결정론적 랜덤 특징 확장을 포함합니다.
7,500 스텝에서 수행된 단일 시드, 매개변수 일치 17M 언어 모델 실험의 예비 결과에 따르면, GN 확장 2× 믹서는 1.2327의 원시 바이트당 비트(BPB)와 1.23831의 정확 정수 int8 BPB를 달성했습니다. 최적화 정책의 차이와 융합된 선형 스케일링 구현 대신 이차 참조 평가기를 사용했기 때문에 이러한 초기 측정값은 통계적으로 우수함을 주장하지 않습니다.
저자들은 접근 방식을 추가로 검증하기 위해 다중 시드 복제, 쓰기/읽기 대수적 분석에 대한 적대적 검토, 통합 최적화 비교 및 긴 문맥 실패 테스트를 환영합니다.