Este artículo presenta DysLexLens, un marco de LLM de bajo recurso diseñado para analizar las experiencias de estudiantes con dislexia al utilizar herramientas de IA a través de discusiones en foros en línea. El sistema proporciona una arquitectura integral y rastreable en cuanto a evidencia que transforma publicaciones ruidosas de redes sociales en corpus enfocados y genera respuestas verificables a consultas.
- Emplea un método de filtración basado en diccionarios para construir un corpus enfocado de Reddit sobre dislexia e IA eliminando publicaciones ruidosas o débilmente relacionadas.
- Integra análisis semántico asistido por LLM con razonamiento de consultas basado en grafos de conocimiento para descubrir patrones significativos en los datos de los usuarios.
- Utiliza métricas de evaluación cuantitativas, específicamente RAGAS y Robustez de Consultas, para medir el rendimiento de las respuestas generadas por LLM.
- Proporciona directrices estructuradas de validación cualitativa para evaluar la calidad de las respuestas, centrándose en la alucinación y la alineación con la evidencia.
La efectividad del marco se demostró utilizando datos de foros de Reddit relacionados con la dislexia y 30 preguntas, mostrando una generalización potencial a otros contextos de foros de bajo recurso. Los datos de muestra, las preguntas y los resultados de evaluación están disponibles en GitHub para apoyar la reproducibilidad.