Новое исследование предлагает комплексную систему оценки для больших языковых моделей, которая объединяет точность, краткость, фактическую согласованность, читаемость и связность. Этот подход устраняет ограничения существующих методов, которые часто опираются на единичные измерения для оценки возможностей моделей.
- Система включает графический интерфейс пользователя для визуализации результатов оценки.
- Оценки на наборе данных TruthfulQA показывают, что основные LLM достигают пикового композитного балла 0.6104 в задачах рассуждения.
- Исследование выявило повсеместные ограничения в том, как модели справляются со сложными фактами и неоднозначностями.
Авторы считают эту систему важной, поскольку она предлагает прозрачный и адаптируемый подход для выявления как потенциала моделей, так и их недостатков, прокладывая путь к инженерии знаний и уточнению моделей.