Jeanbosange опубликовал первый публичный прототип LIMEN Runtime Audit, набора инструментов с открытым исходным кодом, предназначенного для исследования траекторий активаций по слоям в языковых моделях с открытыми весами. Инструмент рассматривает последовательность скрытых состояний по слоям как измеримую траекторию, обеспечивая воспроизводимый слой наблюдаемости для сравнения внутреннего поведения во время выполнения.

  • Версия 0.1 принимает экспортированные массивы NumPy, содержащие скрытые состояния и необязательные логиты.
  • Он вычисляет метрики, включая длину пути, смещение, извилистость, среднюю скорость, вариативность скорости, среднее ускорение, угол поворота, энтропию и маржу top-1/top-2.
  • Набор инструментов проверяет размерности массивов, записывает метаданные извлечения, генерирует контрольные суммы SHA-256 и выводит машиночитаемые отчеты аудита в форматах JSON и Markdown.
  • Он запускает автоматические тесты на Python 3.10, 3.11 и 3.12.

Автор подчеркивает, что это инструмент описательного аудита, а не предиктор состояний рассуждения или семантики, цель которого — помочь пользователям сравнивать архитектуры моделей, обнаруживать регрессии и изучать динамические различия между семействами промптов.