github llama.cpp · 1시간 전 · inference

llama.cpp b11005 그래프 분할을 줄이기 위해 제로화된 rope probe를 수용

번역 English → 한국어

llama.cpp 프로젝트는 supports_op에서 제로화된 rope probes를 수용하기 위한 Hexagon 백엔드 수정 사항을 포함하는 버전 b11005를 출시했습니다.

이전에는 n_dims == 0 또는 freq_base == 0인 probe를 거부하면 rope_freqs가 CPU로 강제되어 불필요한 그래프 분할이 발생했습니다. 이 변경으로 이러한 분할이 방지되어 gemma-4-E2B와 같은 모델의 분할 수가 다섯에서 두로 줄어듭니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp가 HrmTextForCausalLM (DFM Mimir 1B) 지원을 추가함

llama.cpp 프로젝트는 DFM Mimir 1B 모델의 추론을 가능하게 하는 HrmTextForCausalLM 아키텍처에 대한 지원을 추가했습니다. 이 구현은 동일한 토큰 스트림에서 두 개의 트랜스포머 스택을 교대로 실행하는 모델의 고유한 구조를 처리하기 위해 새로운 GGUF 작성기 및 로더를 도입합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b11001, RISC-V에서 int16 전치 왜곡 수정

llama.cpp 프로젝트는 RISC-V 아키텍처에서 int16 데이터를 처리하는 `permute_transpose_impl` 함수에 대한 중요한 수정 사항을 포함하는 빌드 b11001을 출시했습니다.

github llama.cpp · 10시간 전 · 조회수 1회

llama.cpp b10995, Vulkan MUL_MAT_ID BN/2 테일을 무조건적으로 만듦

llama.cpp 프로젝트는 Vulkan 백엔드의 MUL_MAT_ID 연산 처리를 수정하는 빌드 b10995를 출시했습니다. 구체적으로 이 변경은 BNover2의 기본값으로 BN/2를 사용하고 BNover4에 대한 비활성화된 폴백으로 사용함으로써 BN/2 테일을 무조건적으로 만들며, 해당 브랜치에서 활성화 게이트를 제거합니다.

github llama.cpp · 18시간 전 · 조회수 2회

llama.cpp b10989, ROCm에서 AllReduce 지원 및 다중 플랫폼 바이너리 제공

llama.cpp 프로젝트는 ROCm 백엔드 내에서 AllReduce 연산을 활성화하는 지원을 도입한 버전 b10989를 출시했습니다. 이 업데이트는 대규모 언어 모델 추론을 위한 하드웨어 호환성 및 분산 컴퓨팅 기능을 확장하기 위한 지속적인 개발의 일환입니다.

github llama.cpp · 23시간 전 · 조회수 1회

llama.cpp b10988이 추론 디코딩을 위한 OpenCL MoE 전문가 행렬 곱 선택 추가

llama.cpp 프로젝트는 Mixture of Experts (MoE) 모델을 위해 OpenCL 백엔드에 변경 사항을 도입하는 빌드 b10988을 출시했습니다. 이 업데이트는 추론 디코딩 및 다중 토큰 예측 동안 배치 크기에 기반하여 MoE 전문가 행렬 곱을 선택하는 로직을 구현합니다.