연구자들은 개인 식별 가능한 정보를 감지하기 위한 자동 시스템의 개발과 평가를 지원하도록 설계된 합성 대화 전사의 다국어 데이터셋인 DialogPII를 제시했습니다. 이 자료는 11개 언어와 8가지 상호작용 시나리오에 걸쳐 주석이 달린 데이터를 제공하여 민감한 도메인의 프라이버시 우려를 해결합니다.
- 영어, 아랍어, 핀란드어, 프랑스어, 독일어, 힌디어, 이탈리아어, 폴란드어, 포르투갈어, 스페인어 및 터키어의 19개 엔티티 유형을 다룹니다.
- 응급 전화, 의료 문진, 치료 세션, 보험 커뮤니케이션, 고객 지원, 임상 인터뷰, 경찰 보고서 및 그룹 치료를 포함한 8가지 시나리오를 포함합니다.
- 데이터는 대규모 언어 모델을 사용하여 반자동으로 생성되었으며, 특정 컨텍스트에 맞게 지역화되고 텍스트-투-스피치 합성을 통해 음성으로 변환되었습니다.
- 전사는 Whisper를 사용하여 생성되었으며 자동 투영과 수동 교정을 통해 주석이 달렸습니다.
- 릴리스에는 베라인 다국어 명사 엔티티 인식 모델과 기술적 검증 지표가 포함되어 있습니다.
이 데이터셋은 대화 데이터에서 개인의 프라이버시를 보호하기 위한 강력한 비식별화 시스템의 작성을 촉진하기 위해 정렬된 서면 및 음성 기반 리소스를 제공합니다.