El autor ha desarrollado Epistemic Shield, un framework experimental que trata la respuesta inicial de un LLM como una hipótesis provisional en lugar de una salida final. El sistema descompone las respuestas en afirmaciones atómicas y las somete a una auto-crítica adversarial para medir la consistencia a través de evaluaciones estocásticas.
- Descompone las respuestas en afirmaciones atómicas para un análisis granular.
- Somete cada afirmación a una auto-crítica adversarial.
- Mide la consistencia a través de múltiples evaluaciones estocásticas.
- Incorpora evidencia externa cuando está disponible.
- Aplica penalizaciones asimétricas a las afirmaciones no respaldadas en dominios de alto riesgo.
- Permite la abstención parcial en lugar de forzar al modelo a responder todo.
El autor busca críticas técnicas, sugerencias de benchmarks y colaboradores para probar si esta arquitectura mejora la calibración o la resistencia a las alucinaciones.