Исследователи представляют Относительный Вероятностный Метрику Ассоциаций (RPAM), метод предварительной оценки для генеративных языковых моделей, который анализирует эмбеддинги или вероятности продолжения для оценки лежащих в основе ассоциаций.

  • RPAM разработан для преодоления ограничений обобщения метрик последующей обработки путем исследования моделей на фундаментальном уровне, а не полагаясь на переменный сгенерированный текст.
  • Метрика была протестирована на Mistral-7B-Instruct, Mistral-7B и GPT-2 с использованием наборов данных, включая WEAT-WS, Bellezza, WS-353 и SST2.
  • Результаты показывают сильную связь между измерениями RPAM как неявными/явными ассоциациями людей, так и предубеждениями, измеренными в задачах последующей обработки, превосходя предыдущие рекордные значения там, где это применимо.

RPAM устраняет пробел в метриках предварительной оценки, предоставляя метод, который выявляет сильные связи с реальными ассоциациями, позволяя обоснованный анализ различных языковых моделей.