Este artículo aborda la degradación del rendimiento de los modelos de detección de comentarios ofensivos cuando se implementan en diferentes plataformas de redes sociales chinas, proponiendo un método de minería de ejemplos difíciles con umbral dual.
- Se establece una línea base binaria ajustando finamente clean-Chinese-base RoBERTa en el conjunto de datos COLD.
- Se construye un conjunto de pruebas de tres clases finamente etiquetado que cubre Weibo, Xiaohongshu, Tieba y Zhihu para cuantificar las distancias de dominio utilizando Jaccard y Proxy-A Distance.
- Se filtran muestras propensas a errores de alta y baja confianza de corpora no etiquetadas basándose en la confianza de predicción.
- El modelo se somete a un ajuste fino secundario con un pequeño conjunto de ejemplos difíciles etiquetados manualmente bajo contextos implícitos para una adaptación entre plataformas de bajo costo.
El modelo optimizado logra ganancias significativas de rendimiento en las cuatro plataformas probadas, demostrando una adaptación efectiva del dominio.