llama.cpp 프로젝트가 디코딩 중 그래프 모양 변경으로 인한 충돌을 해결하는 빌드 b11306를 출시했습니다. 이 업데이트는 특정 스케줄링 제약 하에서 재할당 실패를 방지하기 위해 `causal_attn` 플래그의 처리 방식을 수정합니다.

  • 디바이스 디코딩 후, `causal_attn`은 ubatch의 절반에 대해 꺼졌다가 나머지 부분에 대해 다시 켜져 일관된 노드 수를 보장합니다.
  • 이 변경으로 그래프가 변경되지 않은 크기에서 재할당되는 것을 방지하며, 이는 이전에 `GGML_SCHED_NO_REALLOC`이 활성화되었을 때 실행 중단을 유발했습니다.
  • 이 수정은 디코딩 아키텍처에 적용되지만 인코딩 아키텍처에는 건너뜁니다.

이번 릴리스에는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) 및 openEuler용 바이너리가 포함되어 있습니다.