Исследователи представляют DevicesWorld, крупномасштабный исполняемый бенчмарк, предназначенный для оценки LLM-based агентов, работающих в гетерогенных средах, включая мобильные устройства, десктопы и IoT-устройства.
- Бенчмарк содержит 6,140 задач, которые объединяют три класса устройств в единую структуру для кросс-устройственного взаимодействия.
- Каждая задача определяет цели на естественном языке, участвующие устройства, начальные состояния, исполняемые действия, верификаторы на основе правил и процедуры очистки.
- Оценка пяти передовых LLM-agent систем выявила низкие показатели успеха, при этом лучший результат составил лишь 12.5%.
- Анализ показывает, что агенты часто испытывают трудности с получением информации, манипуляцией интерфейсом и различением устройств-источников и устройств-получателей.
DevicesWorld предоставляет воспроизводимую и диагностически полезную задачу для оценки, чтобы продвинуть исследования надежных кросс-устройственных агентов.