github llama.cpp · 3일 전 · inference

llama.cpp가 도구 호출 처리를 수정하기 위해 Ling 3.0 파서를 추가함

번역 English → 한국어

llama.cpp 프로젝트는 pull request #28682에서 Ling 3.0 (Bailing V3) 채팅 템플릿을 위한 전용 파서를 도입했습니다. 이 변경은 모델의 미리 열린 사고 블록이 도구 호출을 추론 콘텐츠로 잘못 분류하여 에이전트 루프가 실패하는 문제를 해결합니다.

새로운 파서는 닫힌 think 태그 또는 도구 호출 태그 시작 시 추론을 종료하며, vLLM 및 SGLang의 동작을 반영합니다. 여기에는 닫히지 않은 think 블록, 병렬 호출 및 다양한 인수 유형에 대한 포괄적인 테스트가 포함되어 있습니다.

이 업데이트는 클라이언트가 빈 콘텐츠 대신 도구 호출을 올바르게 수신하도록 보장하여 Ling 3.0 모델에서 에이전트 루프가 제대로 작동하게 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

github llama.cpp · 방금 · 조회수 1회 실시간

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 14시간 전 · 조회수 11회

llama.cpp b11111이 Intel Xe용 flash attention 최적화 커널 추가

llama.cpp 프로젝트는 Xe-LPG Plus, Xe2 및 Xe3 아키텍처의 split k 경로에 대한 Vulkan 기반 flash attention 최적화 커널을 도입한 빌드 b11111을 출시했습니다.

github llama.cpp · 17시간 전 · 조회수 9회

llama.cpp가 HunyuanOCR에 대한 DFlash 지원을 추가하고 드래프트 변환을 수정함

llama.cpp 프로젝트는 타겟 그래프에서 레이어 입력 텐서를 노출하여 HunyuanOCR 모델과 함께 DFlash 추측 디코딩에 대한 지원을 추가했습니다. 이 변경 사항으로 드래프트 모델이 잔류 스트림을 읽을 수 있게 되어, 비추측 실행과 비교할 때 약 0.5의 드래프트 수용률과 바이트 단위로 동일한 OCR 출력을 유지하며 이미지 요청을 성공적으로 실행할 수 있습니다.

github llama.cpp · 20시간 전 · 조회수 11회

llama.cpp b11101 릴리스는 llama에 대한 반복된 find_package 호출을 허용합니다

llama.cpp 프로젝트가 llama 라이브러리에 대한 반복된 find_package 호출을 허용하는 빌드 시스템 수정 사항을 포함한 버전 b11101을 출시했습니다.

lab Hugging Face Blog · 21시간 전 · 조회수 10회

Transformers가 ggml 커널을 통해 GGUF 지원 추가

Hugging Face의 Transformers 라이브러리는 이제 기본 ggml 커널을 활용하여 llama.cpp에 가까운 성능을 제공하며 GGUF 양자화된 모델을 로드할 수 있게 되었습니다. 이 통합을 통해 개발자는 지원되는 하드웨어에서 표준 PyTorch 기반 API 내에서 양자화된 체크포인트를 직접 실행할 수 있습니다.