Исследователи представляют Code-MUE, полностью чёрно-коробочный фреймворк, который количественно оценивает неопределённость языковых моделей для кода (Code LLM), анализируя семантические графы взаимодействия на основе выполнения. Этот подход заполняет пробел между синтаксисом и семантикой, привязывая неопределённость к наблюдаемому поведению во время выполнения, а не к поверхностному текстовому сходству.

  • Code-MUE вычисляет энтропию фон Неймана пространства решений для количественной оценки глобального семантического разнообразия.
  • Он устраняет ограничение существующих методов, которые не способны уловить хрупкость кода, где синтаксические вариации не подразумевают семантического расхождения.
  • Фреймворк разработан для работы с закрытыми моделями, где методы белого и серого ядра неприменимы.

Крупномасштабное эмпирическое исследование восьми современных LLM показывает, что Code-MUE достигает сильной отрицательной корреляции с функциональной корректностью, значительно превосходя лексические и основанные на встраиваниях базовые методы.