В данной статье представлен DysLexLens, низкоресурсный LLM-фреймворк, предназначенный для анализа опыта дислексических обучающихся при использовании ИИ-инструментов на основе обсуждений в онлайн-форумах. Система обеспечивает сквозную архитектуру с прослеживаемыми доказательствами, которая преобразует зашумленные посты из социальных сетей в сфокусированные корпусы и генерирует проверяемые ответы на запросы.
- Использует метод фильтрации на основе словаря для построения сфокусированного корпуса Reddit по темам дислексии и ИИ путем удаления зашумленных или слабо связанных постов.
- Интегрирует семантический анализ, поддерживаемый LLM, с рассуждением на основе запросов, опирающимся на графы знаний, для выявления значимых паттернов в пользовательских данных.
- Применяет количественные метрики оценки, в частности RAGAS и Query Robustness, для измерения качества ответов, сгенерированных LLM.
- Предоставляет структурированные качественные руководства по валидации для оценки качества ответов, уделяя особое внимание галлюцинациям и согласованности с доказательствами.
Эффективность фреймворка была продемонстрирована на данных Reddit-форумов, связанных с дислексией, и 30 вопросах, что указывает на потенциальную обобщаемость для других контекстов форумов с низким уровнем ресурсов. Примеры данных, вопросы и результаты оценки доступны на GitHub для поддержки воспроизводимости.