github llama.cpp · 1시간 전 · inference

llama.cpp b10229이 OpenCL 프로파일링 데이터가 플러시되지 않는 문제 수정

번역 English → 한국어

llama.cpp 프로젝트는 OpenCL 백엔드에 대한 중요한 버그 수정을 포함한 버전 b10229를 출시했습니다. 이 업데이트는 프로그램 종료 중 프로파일링 데이터가 작성되지 않는 문제를 해결합니다.

수정 내용은 `ggml_backend_opencl_init()`에서 `ref_count`를 증가시켜 `free()` 메서드에서 -1이 되는 것을 방지합니다.
이는 `GGML_OPENCL_PROFILING`이 활성화된 경우 프로파일링 데이터가 올바르게 플러시되고 저장되도록 보장합니다.
바이너리는 macOS, Linux, Windows, Android 및 openEuler에 대해 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 HIP 백엔드에서 사용할 수 있습니다.

이 변경으로 OpenCL 프로파일링에 의존하는 사용자는 데이터 손실 없이 성능 메트릭을 성공적으로 캡처하고 분석할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

하르딕 쿠마르, 최대 4.66배 가격 차이를 보인 HF 추론 가격 행렬 게시

Hugging Face에 게시된 새로운 데이터셋은 모델 추론 제공업체를 위한 포괄적인 가격 행렬을 제공하며, 다른 공급업체 간 동일 모델의 상당한 비용 격차를 드러냅니다.

github llama.cpp · 22시간 전 · 조회수 7회

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.

media r/LocalLLaMA · 1일 전 · 조회수 3회

Meituan, 1M 컨텍스트 창을 가진 LongCat-Flash-Lite-Sparse 출시

Meituan은 자신의 LongCat-Flash-Lite 모델의 새로운 변형인 LongCat-Flash-Lite-Sparse의 가중치를 출시했습니다. 이번 업데이트는 밀집된 MLA를 대체하기 위해 LongCat Sparse Attention (LSA)를 도입하고 네이티브 컨텍스트 길이 지원을 100만 토큰으로 확장합니다.

github llama.cpp · 1일 전 · 조회수 3회

llama.cpp b10218이 minicpmv46 다운샘플링 지원 추가

llama.cpp 프로젝트는 pull request #25993을 통해 minicpmv46 다운샘플링 지원을 추가한 빌드 b10218을 출시했습니다. 이 업데이트는 4x ignore VIT merger를 도입하고 다운샘플링 모드를 GGUF 형식 내부에 배치합니다.

github llama.cpp · 2일 전 · 조회수 8회

llama.cpp b10216이 Vulkan 백엔드에 1D 풀링 지원을 추가했습니다

llama.cpp 프로젝트는 Vulkan 백엔드에 대한 GGML_OP_POOL_1D 전체 지원을 도입한 버전 b10216을 출시했습니다. 이 업데이트에는 기존 pool2d 구현을 반영하는 새로운 계산 셰이더와 텐서 차원이 음수 종료 경계를 초래할 때 발생하는 충돌을 수정하는 것이 포함됩니다.