Исследование показывает, что даже нейтральные запросы вызывают ответы, зависящие от региона, в больших языковых моделях из-за метаданных пользователей. Потеря местоположения увеличивается в некоторых моделях до 793 раз, и использование значения "Неизвестно" вместо метаданных местоположения всё равно вызывает значительную предвзятость, что указывает на то, что сам профиль пользователя действует как сигнал условий.
arxiv
arXiv cs.CL
·
8 д назад
·
research
Географическая предвзятость в больших языковых моделях из метаданных пользователей
Переведено с English → Русский
Важность 3/3
arXiv cs.CL
Mistral AI
Alibaba (Qwen)
Anthropic
Evaluation & benchmarks
Reasoning models
Safety & alignment
Бенчмарки
| Бенчмарк | Модель | Результат |
|---|---|---|
| SWE-bench Verified | Llama 3.1-8B | 31.7% |
| SWE-bench Verified | Qwen3-8B | 21.3% |
| SWE-bench Verified | Claude Sonnet 4.6 | 8.8% |