github vLLM · 방금 · inference

vLLM v0.28.0rc2에 로컬 컨볼루션 및 후보 선택자가 있는 DFlash2 Spec Decode 추가

번역 English → 한국어

vLLM 프로젝트는 DFlash2 추측 디코딩 기능을 포함하는 버전 0.28.0rc2를 출시했습니다.

중요도 1/3 신뢰도 2/3 vLLM Inference efficiency

llama.cpp 프로젝트는 Vulkan 백엔드의 중요한 수치 안정성 문제를 해결하고 Windows 사용자를 위한 하드웨어 지원을 확장하는 버전 b10539를 출시했습니다.

llama.cpp 프로젝트는 빌드 b10541을 출시하여 멀티모달 투영 파일을 로드할 장치 백엔드를 사용자가 지정할 수 있도록 하는 `--mmproj-device` 명령줄 인수를 도입했습니다.

llama.cpp 프로젝트는 Metal 백엔드의 텐서 API 행렬 곱셈 커널의 치명적인 버그를 해결한 빌드 b10545를 출시했습니다. 이 업데이트는 K 차원이 32의 배수가 아닌 텐서를 처리할 때 정의되지 않은 동작과 손상된 결과를 방지합니다.

llama.cpp 프로젝트는 양자화된 디코딩 시 CUDA에서 벡터와 텐서 코어 경로 간의 크로스오버를 조정하기 위한 하드웨어별 전환 지점을 도입한 빌드 b10534를 출시했습니다.

llama.cpp 프로젝트는 metal 백엔드에 주요 최적화를 도입한 버전 b10538을 출시했습니다. 이 업데이트는 대규모 배치 크기에 대해서만 키-값(KV) 캐시의 디쿼ン타이제이션을 활성화합니다.