llama.cpp 프로젝트는 GGML_SCHED_NO_REALLOC 플래그가 설정되어 있을 때 중단되는 비연속 ubatch 셀로 인한 그래프 재할당을 해결하는 빌드 b11375을 출시했습니다.
- 수정은 순환 상태를 한 번 수집하여 예약이 모든 분할을 커버하도록 하여 최악의 경우 예약 크기가 충분함을 보장합니다.
- 단일 get_rows는 이제 n_rs개의 상태를 수집하며, ubatch와 추가 상태는 이 단일 할당의 뷰로 처리됩니다.
- mamba ssm_scan과 같은 사용자 지정 getter는 단일 시퀀스 ubatch에 대한 상태 복사를 피하기 위해 두 번째 상태에서 수집합니다.
- 호스트 오버헤드를 변경하지 않기 위해 뷰는 그래프당 한 번 구축됩니다.
이 변경은 메모리 재할당 제약으로 인한 중단을 방지하여 제한된 스케줄링 환경에서 안정적인 실행을 보장합니다.