llama.cpp 프로젝트는 추측적 MTP 초기화에 대한 수정을 포함한 버전 b11440을 출시했습니다. 이 업데이트는 NextN 추출 플래그가 변경될 때 스케줄러가 다시 예약되도록 보장하여 마스크되지 않은 추출의 문제를 방지합니다.
- 추측적 MTP 초기화는 이제 생성 후 대상 및 초안 컨텍스트에서 NextN 추출을 활성화합니다.
- 트렁크 그래프는 출력 행으로 잘라내는 대신 마지막 레이어까지 모든 토큰을 유지합니다.
- 플래그가 변경될 때 예약을 무효화하면 다음 계산이 새로운 그래프 모양으로 다시 예약할 수 있습니다.
- 바이너리는 macOS, Linux, Windows, Android 및 iOS에서 CPU, GPU 및 NPU 백엔드를 통해 사용할 수 있습니다.
이 변경은 디코딩 중 올바른 배치 모양 할당을 보장하여 GGML_SCHED_DEBUG_REALLOC 오류를 방지합니다.