llama.cpp 프로젝트는 비정렬 오프셋에 임베디드된 GGUF 파일이 잘못된 텐서 데이터를 반환하는 치명적인 버그를 해결하기 위해 버전 b11019를 출시했습니다. 이 업데이트는 파일 시작점이 아닌 오프셋 0을 기준으로 GGUF 데이터 섹션을 정렬하여 임베디드 모델의 정확한 로딩을 보장합니다.

  • gguf_init_from_file_ptr를 수정하여 GGUF 시작점에서 데이터 섹션을 패딩하고, 비정렬된 임베디드 파일과 관련된 오류를 방지합니다.
  • FILE* 스트림을 통해 LoRA 어댑터를 로딩할 수 있도록 llama_adapter_lora_init_from_file_ptr를 추가합니다.
  • ggml의 이전 어설션 대신, 정렬되지 않은 임베디드 데이터 섹션이 있을 때 mmap을 경고와 함께 비활성화합니다.
  • macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Android, Windows, openEuler에 대한 바이너리를 포함합니다.

이번 릴리스는 다른 컨테이너 내부나 임의의 파일 오프셋에 임베디드된 GGUF 파일의 안정적인 작동을 보장합니다.