llama.cpp 프로젝트는 빌드 b10275를 출시하여 악센트 문자가 조용히 손실되는 Windows의 문자 인코딩 문제를 수정했습니다. 이 업데이트는 OEM 코드 페이지로 작성하는 자식 프로세스에서 온 텍스트가 JSON 레이어에 도달하기 전에 UTF-8로 올바르게 디코딩되도록 보장합니다.
- 서양 Windows 설치에서 비UTF-8 OEM 코드 페이지로 인해 유효하지 않은 바이트가 악센트 출력을 대체하는 문제를 해결합니다.
- 잘못된 코드 페이지가 감지될 때 교체 문자를 출력하는 대신 MB_ERR_INVALID_CHARS를 사용하여 텍스트를 그대로 반환합니다.
- 이미 UTF-8로 디코딩된 텍스트를 통과시켜 이중 디코딩을 방지합니다.
- 다중 바이트 문자 중간에 끝나는 스트리밍 청크를 처리하기 위해 검증 전에 불완전한 후행 시퀀스를 삭제합니다.
이 수정은 도구 출력의 특수 문자를 보존하여 Windows 시스템 사용자를 위한 정확한 데이터 처리를 보장합니다.