github llama.cpp · 1시간 전 · inference

llama.cpp b11370이 MMVQ에 공유 전문가를 융합

번역 English → 한국어

llama.cpp 프로젝트는 벡터 양자화(MMVQ)가 포함된 MoE 혼합 아키텍처에 공유 전문가를 융합하기 위한 CUDA 최적화를 포함하는 빌드 b11370을 출시했습니다. 이 변경은 풀 리퀘스트 #29184의 일부이며 stride_col_dst에 대한 버퍼 널 체크 및 인수 처리도 처리합니다.

CUDA 백엔드를 위해 MMVQ에 공유 전문가를 융합합니다.
안정성을 향상시키기 위해 버퍼에 대한 널 체크를 추가합니다.
stride_col_dst를 융합 인수로 이동합니다.

이 릴리스는 CPU, Vulkan, ROCm, OpenVINO, SYCL 및 Snapdragon을 비롯한 다양한 하드웨어 가속기를 위한 macOS, Linux, Windows, Android 및 iOS용 업데이트된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

관련 기사

github llama.cpp · 1일 전 · 조회수 2회

llama.cpp b11335, Volta 성능을 위해 sm70을 Turing MMVQ 테이블로 라우팅

llama.cpp 프로젝트는 Volta GPU용 CUDA 최적화를 포함한 버전 b11335를 출시했습니다. 이 업데이트는 sm_70 아키텍처를 일반 구성으로 폴스루하는 대신 기존 Turing MMVQ nwarps 테이블로 라우팅합니다.

media Hugging Face Forums · 2일 전 · 조회수 2회

ThermaCompute AI, 로컬 GPU 충돌 로그 분류를 위한 CrashLens 출시

ThermaCompute AI는 로그 파일을 분석하여 엔지니어가 GPU 충돌을 조사하는 데 도움이 되도록 설계된 무료 로컬 도구인 CrashLens를 출시했습니다. 이 도구는 로그 내의 알려진 실패 패턴을 식별하고 조사를 위한 구체적인 다음 단계를 제안합니다.

github llama.cpp · 3일 전 · 조회수 4회

llama.cpp b11280 릴리스는 고정 호스트 버퍼를 사용하여 텐서 allreduce 동기화를 줄입니다

llama.cpp 프로젝트는 고정 호스트 버퍼를 활용하여 텐서 allreduce 동기화를 줄이는 변경 사항이 포함된 버전 b11280을 출시했습니다.

media Hugging Face Forums · 3일 전 · 조회수 3회

AI Hardware Fit은 모델 VRAM 요구사항을 GPU 선택과 연결합니다

AI Hardware Fit의 제작자는 로컬 모델이 자신의 GPU에 맞는지 확인하고 적합한 하드웨어 옵션을 비교할 수 있도록 설계된 무료 오픈소스 브라우저 도구를 출시했습니다. 이 도구는 서로 다른 출처에서 모델 파일, 양자화, 컨텍스트 길이, 런타임 지원을 조합하는 복잡성을 해결합니다.

github llama.cpp · 6일 전 · 조회수 10회

llama.cpp b11203이 CUDA FWHT에 F16 입력 지원 추가

llama.cpp 프로젝트는 F16 입력을 수용하기 위한 CUDA Fast Walsh-Hadamard Transform (FWHT) 변경 사항을 포함하는 버전 b11203을 출시했습니다. 이전에는 CUDA FWHT가 F32 입력만 수용했지만, 이 업데이트로 소스 유형이 템플릿 매개변수가 되어 커널이 변환된 복사본 없이 F16 소스를 직접 읽습니다.