llama.cpp b10144 릴리스는 재개 가능한 스트림과 관련된 서버 및 UI의 중대한 문제를 해결하며, 특히 슬래시가 포함된 모델 이름 처리를 수정합니다. 또한 모델 로딩 중 요청이 제대로 취소되거나 재개되지 않는 버그도 해결했습니다.
- 라우터 모드에서 인코딩 시 슬래시가 포함된 모델 이름을 유지할 수 있도록 `conv_id` 쿼리 문자열을 사용하도록 재개 가능한 스트림 라우트를 리팩토링합니다.
- 오토로드 대기 전에 대화를 등록하여 모델 로딩 중 스트림이 중지될 때 보류 중인 요청을 취소합니다.
- 클라이언트 소켓에서 세션 요청을 분리하고 재시도에 503을 반환하여 모델 로딩 중 페이지 새로고침 후 스트림을 재개할 수 있도록 합니다.
- 보류 중인 스트림 상태를 영구 저장하여 페이지 새로고침 후 UI에서 모델 로딩 진행 상황을 다시 보이도록 복원합니다.
이러한 변경 사항을 통해 클라이언트 연결 끊김 및 URL 인코딩 문제에 대해 대화가 견고하게 유지되며, 모델 로딩 단계 동안 고아 요청과 손실된 세션을 방지합니다.