github llama.cpp · 1시간 전 · inference

llama.cpp b11382가 WebGPU fill/set_rows에 f16 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 WebGPU 백엔드에 대한 주요 업데이트를 포함하는 빌드 b11382를 출시했습니다. 이 릴리스는 WebGPU 구현 내에서 `fill` 및 `set_rows` 작업에 대해 16비트 부동 소수점(f16) 지원을 추가합니다.

소스 코드 변경 사항은 ggml-org/llama.cpp 저장소의 풀 리퀘스트 #29897에서 추적됩니다.
macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows(CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android 및 openEuler에 대한 바이너리가 제공됩니다.
릴리스에는 표준 llama.cpp UI 바이너리도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

원문 보기

llama.cpp b11370이 MMVQ에 공유 전문가를 융합

llama.cpp 프로젝트는 벡터 양자화(MMVQ)가 포함된 MoE 혼합 아키텍처에 공유 전문가를 융합하기 위한 CUDA 최적화를 포함하는 빌드 b11370을 출시했습니다. 이 변경은 풀 리퀘스트 #29184의 일부이며 stride_col_dst에 대한 버퍼 널 체크 및 인수 처리도 처리합니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b11335, Volta 성능을 위해 sm70을 Turing MMVQ 테이블로 라우팅

llama.cpp 프로젝트는 Volta GPU용 CUDA 최적화를 포함한 버전 b11335를 출시했습니다. 이 업데이트는 sm_70 아키텍처를 일반 구성으로 폴스루하는 대신 기존 Turing MMVQ nwarps 테이블로 라우팅합니다.

media Hugging Face Forums · 3일 전 · 조회수 6회

ThermaCompute AI, 로컬 GPU 충돌 로그 분류를 위한 CrashLens 출시

ThermaCompute AI는 로그 파일을 분석하여 엔지니어가 GPU 충돌을 조사하는 데 도움이 되도록 설계된 무료 로컬 도구인 CrashLens를 출시했습니다. 이 도구는 로그 내의 알려진 실패 패턴을 식별하고 조사를 위한 구체적인 다음 단계를 제안합니다.

github llama.cpp · 4일 전 · 조회수 8회

llama.cpp b11280 릴리스는 고정 호스트 버퍼를 사용하여 텐서 allreduce 동기화를 줄입니다

llama.cpp 프로젝트는 고정 호스트 버퍼를 활용하여 텐서 allreduce 동기화를 줄이는 변경 사항이 포함된 버전 b11280을 출시했습니다.

media Hugging Face Forums · 4일 전 · 조회수 5회

AI Hardware Fit은 모델 VRAM 요구사항을 GPU 선택과 연결합니다

AI Hardware Fit의 제작자는 로컬 모델이 자신의 GPU에 맞는지 확인하고 적합한 하드웨어 옵션을 비교할 수 있도록 설계된 무료 오픈소스 브라우저 도구를 출시했습니다. 이 도구는 서로 다른 출처에서 모델 파일, 양자화, 컨텍스트 길이, 런타임 지원을 조합하는 복잡성을 해결합니다.