Jeanbosangeは、オープンウェイト言語モデルの層ごとの活性化軌道を調査するために設計されたオープンソースツールキットであるLIMENランタイム監査の最初の公開プロトタイプを公開しました。このツールは、層全体にわたる隠れ状態のシーケンスを測定可能な軌道として扱い、内部のランタイム動作を比較するための再現可能な観測可能性レイヤーを提供します。
- バージョン0.1は、隠れ状態とオプションのロジットを含むエクスポートされたNumPy配列を受け入れます。
- パス長、変位、屈曲度、平均速度、速度の変動性、平均加速度、回転角、エントロピー、トップ1/トップ2マージンなどの指標を計算します。
- ツールキットは配列の次元を検証し、抽出メタデータを記録し、SHA-256チェックサムを生成し、機械可読なJSONおよびMarkdown監査レポートを出力します。
- Python 3.10、3.11、および3.12で自動テストを実行します。
著者は、これは推論や意味状態の予測子ではなく記述的な監査ツールであると強調し、ユーザーがモデルアーキテクチャを比較し、回帰を検出し、プロンプトファミリー全体にわたる動的な違いを研究するのを支援することを目指しています。