В данной статье рассматривается проблема выбора источника без дообучения для больших языковых моделей с общими словарями в научных областях, таких как SMILES и геномика, где классические метрики либо неинформативны, либо вычислительно затратны. Авторы показывают, что метрики сходства представлений неидентифицируемы для переноса, поскольку модели могут иметь одинаковые представления, но ортогональные обновления заголовков.

  • Показано, что выравнивание Фишера заголовков точно является косинусом между средними вложениями ядер в совместном пространстве активаций и ошибок, выявляя факторы активации, ошибки и связи без необходимости материализации матрицы Фишера.
  • FisherSketch оценивает этот косинус напрямую за один проход потока данных, делая выравнивание Фишера заголовков с K=128,256 практичным при использовании сигнатуры задачи размером 16 КБ и состояния потока данных на задачу размером 192 КБ.
  • Эксперименты со смещением вербализатора Llama-3.1-8B подтверждают, что FisherSketch остается информативным для выбора источника даже тогда, когда сходство активаций не позволяет различить задачи.

Предложенный метод предоставляет диагностический инструмент для изучения того, обусловлено ли сходство задач LLM активациями, ошибками или их связью, что обеспечивает эффективный и точный выбор модели без накладных расходов на обучение.