Jeanbosange는 오픈 가중치 언어 모델에서 레이어별 활성화 궤적을 검사하도록 설계된 오픈소스 도구 모음인 LIMEN Runtime Audit의 첫 번째 공개 프로토타입을 게시했습니다. 이 도구는 레이어 전체의 숨겨진 상태 시퀀스를 측정 가능한 궤적으로 취급하여 내부 런타임 동작을 비교하기 위한 재현 가능한 관측성 계층을 제공합니다.
- 버전 0.1은 숨겨진 상태와 선택적 로짓을 포함하는 내보낸 NumPy 배열을 받습니다.
- 경로 길이, 변위, 굴곡도, 평균 속도, 속도 변동성, 평균 가속도, 회전 각도, 엔트로피 및 top-1/top-2 마진을 포함한 지표를 계산합니다.
- 도구 모음은 배열 차원을 검증하고, 추출 메타데이터를 기록하며, SHA-256 체크섬을 생성하고, 기계 판독 가능한 JSON 및 Markdown 감사 보고서를 출력합니다.
- Python 3.10, 3.11 및 3.12에서 자동 테스트를 실행합니다.
저자는 이것이 추론이나 의미 상태의 예측자가 아닌 기술적 감사 도구임을 강조하며, 사용자가 모델 아키텍처를 비교하고 회귀를 감지하며 프롬프트 패밀리 간 동적 차이를 연구하는 데 도움이 되기를 목표로 한다고 밝혔습니다.