github llama.cpp · 1시간 전 · inference

llama.cpp b11001, RISC-V에서 int16 전치 왜곡 수정

번역 English → 한국어

llama.cpp 프로젝트는 RISC-V 아키텍처에서 int16 데이터를 처리하는 `permute_transpose_impl` 함수에 대한 중요한 수정 사항을 포함하는 빌드 b11001을 출시했습니다.

이전 버전은 16비트 정수에 대해 `rvv_transposed_s32_mn_to_nm`을 잘못 호출하여, 4x4 행렬에서 16개 위치 중 14개가 잘못된 왜곡된 전치 결과를 초래했습니다.
수정 사항은 이미 flash attention의 다른 곳에서 사용 가능하고 사용되었던 올바른 `rvv_transposed_s16_mn_to_nm` 함수로 오류 있는 호출을 대체합니다.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Windows(CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android, openEuler에 대한 바이너리가 제공됩니다.

이 업데이트는 RISC-V 하드웨어에서 int16 연산에 대한 올바른 데이터 전치를 보장하여 관련 모델의 계산 오류를 방지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10995, Vulkan MUL_MAT_ID BN/2 테일을 무조건적으로 만듦

llama.cpp 프로젝트는 Vulkan 백엔드의 MUL_MAT_ID 연산 처리를 수정하는 빌드 b10995를 출시했습니다. 구체적으로 이 변경은 BNover2의 기본값으로 BN/2를 사용하고 BNover4에 대한 비활성화된 폴백으로 사용함으로써 BN/2 테일을 무조건적으로 만들며, 해당 브랜치에서 활성화 게이트를 제거합니다.

github llama.cpp · 15시간 전 · 조회수 2회

llama.cpp b10989, ROCm에서 AllReduce 지원 및 다중 플랫폼 바이너리 제공

llama.cpp 프로젝트는 ROCm 백엔드 내에서 AllReduce 연산을 활성화하는 지원을 도입한 버전 b10989를 출시했습니다. 이 업데이트는 대규모 언어 모델 추론을 위한 하드웨어 호환성 및 분산 컴퓨팅 기능을 확장하기 위한 지속적인 개발의 일환입니다.

github llama.cpp · 20시간 전 · 조회수 1회

llama.cpp b10988이 추론 디코딩을 위한 OpenCL MoE 전문가 행렬 곱 선택 추가

llama.cpp 프로젝트는 Mixture of Experts (MoE) 모델을 위해 OpenCL 백엔드에 변경 사항을 도입하는 빌드 b10988을 출시했습니다. 이 업데이트는 추론 디코딩 및 다중 토큰 예측 동안 배치 크기에 기반하여 MoE 전문가 행렬 곱을 선택하는 로직을 구현합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10984, CUDA 행 연속 SUM_ROWS 지원 추가

llama.cpp 프로젝트는 버전 b10984를 출시하여 행 연속 SUM_ROWS 연산에 대한 CUDA 지원을 도입했습니다. 이 업데이트는 공유 커널을 통해 행 연속 텐서를 처리하기 위해 GGML_OP_MEAN을 포함하도록 코드를 정리합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10985은 RPC 해시 캐시를 가중치로 제한

llama.cpp 프로젝트는 빌드 b10985을 출시하여 해시 기반 캐싱을 가중치 텐서로만 제한하도록 RPC 백엔드를 수정했습니다. 이 변경은 활성화 데이터가 불필요하게 해시되고 저장되어 디스크 사용량이 과도해지는 문제를 해결합니다.