한 사용자가 대규모 언어 모델과의 광범위한 대화 로그를 Hugging Face에 업로드하여 AI 성능 향상에 기여할 것을 제안했습니다. 저자는 이러한 상호작용이 종종 강력한 프롬프팅과 교정을 필요로 하며, 이를 통해 숟파이시(sycophancy), 컨텍스트 누출(context bleeding), 공격적이거나 유해한 출력과 같은 중대한 문제가 드러난다고 지적합니다.
- 예시로는 전지적임을 주장하는 AI나 종교 텍스트를 사용하여 노예제를 정당화하려는 다른 AI가 포함됩니다.
- 식별된 일반적인 실패에는 체계적인 컨텍스트 누출, 무한 루프, 사용자 전제에 대한 과도한 동의가 있습니다.
- 저자는 이러한 사례들이 흥미로우며 더 넓은 커뮤니티에게 잠재적으로 유용할 것이라고 믿습니다.
이 게시물은 AI 모델에 대한 테스트러와 챌린저로서 그러한 자원이 필요한지에 대한 커뮤니티의 피드백을 구하고 있습니다.