github llama.cpp · 1일 전 · inference

llama.cpp b11095가 HMX 최적화 GATED_DELTA_NET을 추가하고 DDR 읽기를 줄임

번역 English → 한국어

llama.cpp b11095 릴리스는 HMX 최적화된 GATED_DELTA_NET (GDN) 구현을 도입하고 Hexagon 및 Flash Attention 커널에 대한 다양한 최적화를 제공합니다.

GDN 지원에는 Qualcomm 칩에서 성능을 향상시키기 위한 파이프라이닝, HVX 스레딩 및 벡터 연산이 포함됩니다.
Flash Attention 업데이트는 레지스터 내 누적 및 DMA 파이프라인 개선을 통해 토큰 생성 중 DDR 읽기를 20-30% 줄입니다.
이 릴리스는 CPU, CUDA, ROCm, Vulkan 및 OpenVINO 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

이 업데이트는 기존 배포 환경과의 넓은 호환성을 유지하면서 특정 하드웨어 아키텍처에서 추론 효율성을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 1시간 전 · 조회수 11회 실시간

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

arxiv arXiv cs.AI · 4시간 전 · 조회수 9회

CliffCompaction은 성능을 유지하면서 코딩 에이전트 비용을 50% 절감합니다

연구원들은 CliffCompaction을 소개했습니다. 이는 제한된 컨텍스트 하에서 장기적 코딩 에이전트의 비용을 최대 50%까지 줄이기 위해 설계된 자동 압축 기술입니다. 이 방법은 Terminal-Bench에서 성능을 유지하거나 향상시키며, 재문장화 대신 잘라내기를 통해 압축된 정보를 정확하게 유지함으로써 KernelBench에서 최첨단 결과를 달성합니다.

arxiv arXiv cs.LG · 5시간 전 · 조회수 9회

CliffCompaction은 성능을 유지하면서 장기적 코딩 에이전트 비용을 최대 50%까지 절감합니다

연구원들은 수백만 개의 토큰을 처리하는 에이전트를 위해 설계된 자동 압축 기법인 CliffCompaction을 소개했으며, 이는 제한된 컨텍스트 하에서 비용을 최대 50%까지 절감합니다. 이 방법은 Terminal-Bench에서 성능을 유지하거나 향상시키며, 재표현이 아닌 잘라내기를 통해 정보를 정확하게 유지함으로써 KernelBench에서 최첨단 결과를 달성했습니다.

github llama.cpp · 6시간 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.