Предложена многовидовая затворная графовая сеть внимания для обнаружения болезни Альцгеймера путем анализа спонтанной речи через фреймворк «содержание-структура-поток». Система транскрибирует аудио с помощью автоматического распознавания речи (ASR) для построения семантических, зависимостных и со-встречающихся графов, используя взаимную информацию по точкам (PMI) из нормативного корпуса для количественной оценки логики повествования.
- Модель объединяет эти различные виды графов с помощью адаптивного механизма затворного слияния для решения проблемы клинической гетерогенности.
- Оценка на наборе данных ADReSSo показала точность 90,00%.
- Исследования аблиации подтверждают, что как основанный на PMI граф, так и механизм затвора необходимы для надежной классификации.
Авторы считают это значимым, поскольку подход устраняет нелинейные структурные нарушения в патологической речи, которые многие существующие системы упускают из виду. Исходный код доступен публично.