github llama.cpp · 1일 전 · inference

llama.cpp b11280 릴리스는 고정 호스트 버퍼를 사용하여 텐서 allreduce 동기화를 줄입니다

번역 English → 한국어

llama.cpp 프로젝트는 고정 호스트 버퍼를 활용하여 텐서 allreduce 동기화를 줄이는 변경 사항이 포함된 버전 b11280을 출시했습니다.

이 업데이트는 macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), Android 및 iOS를 포함한 여러 플랫폼과 백엔드에서 사용할 수 있습니다.

릴리스에는 llama.cpp UI용 바이너리도 제공됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

원문 보기

ThermaCompute AI, 로컬 GPU 충돌 로그 분류를 위한 CrashLens 출시

ThermaCompute AI는 로그 파일을 분석하여 엔지니어가 GPU 충돌을 조사하는 데 도움이 되도록 설계된 무료 로컬 도구인 CrashLens를 출시했습니다. 이 도구는 로그 내의 알려진 실패 패턴을 식별하고 조사를 위한 구체적인 다음 단계를 제안합니다.

media Hugging Face Forums · 2일 전 · 조회수 1회

AI Hardware Fit은 모델 VRAM 요구사항을 GPU 선택과 연결합니다

AI Hardware Fit의 제작자는 로컬 모델이 자신의 GPU에 맞는지 확인하고 적합한 하드웨어 옵션을 비교할 수 있도록 설계된 무료 오픈소스 브라우저 도구를 출시했습니다. 이 도구는 서로 다른 출처에서 모델 파일, 양자화, 컨텍스트 길이, 런타임 지원을 조합하는 복잡성을 해결합니다.

github llama.cpp · 5일 전 · 조회수 9회

llama.cpp b11203이 CUDA FWHT에 F16 입력 지원 추가

llama.cpp 프로젝트는 F16 입력을 수용하기 위한 CUDA Fast Walsh-Hadamard Transform (FWHT) 변경 사항을 포함하는 버전 b11203을 출시했습니다. 이전에는 CUDA FWHT가 F32 입력만 수용했지만, 이 업데이트로 소스 유형이 템플릿 매개변수가 되어 커널이 변환된 복사본 없이 F16 소스를 직접 읽습니다.

github llama.cpp · 6일 전 · 조회수 22회

llama.cpp가 MTT S5000 연산자 실패를 수정하고 CUB 경로 활성화

llama.cpp 프로젝트는 MUSA (MTT S5000) 연산자 실패 및 빌드 문제에 대한 수정 버전을 출시했으며, 이는 PH1 아키텍처를 대상으로 합니다. 이 업데이트는 이 하드웨어에서 잘못된 결과나 타임아웃을 유발하던 중대한 버그를 해결합니다.

github llama.cpp · 7일 전 · 조회수 31회

llama.cpp b11160이 AMD RDNA3/4용 int8 coopmat1 행렬 곱과 IQ4_XS 지원을 추가했습니다

llama.cpp 프로젝트는 버전 b11160을 출시하여 AMD RDNA3 및 RDNA4 아키텍처의 Vulkan에서 int8 협력 행렬(coopmat1) 구현을 도입했습니다. 이 업데이트에는 성능을 개선하기 위해 coopmat 값을 직접 probing하는 전용 셰이더가 포함되어 있습니다.