github llama.cpp · 1일 전 · inference

llama.cpp b11100이 Muse Glimmer 도구 호출 파서 오류 수정

번역 English → 한국어

llama.cpp 프로젝트는 Muse Glimmer 모델의 특정 파싱 문제를 해결하는 빌드 b11100을 출시했습니다. 주요 변경 사항은 이 모델에 대한 도구 호출 실행 중 처음 마주한 파서 오류를 수정하는 것입니다.

Muse Glimmer 도구 호출의 첫 번째 파서 오류 수정
수정 사항을 검증하기 위한 테스트 추가
패턴 통합 및 트리거 패턴 테스트 제거

이 릴리스는 CPU, CUDA, ROCm, Vulkan, OpenVINO을 포함한 다양한 하드웨어 백엔드에서 macOS, Linux, Windows, Android, iOS용 업데이트된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 1시간 전 · 조회수 11회 실시간

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

arxiv arXiv cs.AI · 4시간 전 · 조회수 9회

CliffCompaction은 성능을 유지하면서 코딩 에이전트 비용을 50% 절감합니다

연구원들은 CliffCompaction을 소개했습니다. 이는 제한된 컨텍스트 하에서 장기적 코딩 에이전트의 비용을 최대 50%까지 줄이기 위해 설계된 자동 압축 기술입니다. 이 방법은 Terminal-Bench에서 성능을 유지하거나 향상시키며, 재문장화 대신 잘라내기를 통해 압축된 정보를 정확하게 유지함으로써 KernelBench에서 최첨단 결과를 달성합니다.

arxiv arXiv cs.LG · 5시간 전 · 조회수 9회

CliffCompaction은 성능을 유지하면서 장기적 코딩 에이전트 비용을 최대 50%까지 절감합니다

연구원들은 수백만 개의 토큰을 처리하는 에이전트를 위해 설계된 자동 압축 기법인 CliffCompaction을 소개했으며, 이는 제한된 컨텍스트 하에서 비용을 최대 50%까지 절감합니다. 이 방법은 Terminal-Bench에서 성능을 유지하거나 향상시키며, 재표현이 아닌 잘라내기를 통해 정보를 정확하게 유지함으로써 KernelBench에서 최첨단 결과를 달성했습니다.

github llama.cpp · 6시간 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.