github llama.cpp · 5일 전 · inference

llama.cpp가 OpenCL용 A8 Q8_0 non-MoE dp4a 바이너리 커널 추가

번역 English → 한국어

llama.cpp 프로젝트가 OpenCL용 A8 Q8_0 non-MoE dp4a 바이너리 커널을 추가했습니다.

이 변경 사항은 ggml-org/llama.cpp 저장소에서 풀 리퀘스트 #29439로 추적됩니다.
OpenCL 백엔드 내에서 dp4a 명령 집합을 사용하여 특정 양자화 형식(A8 Q8_0)에 대한 지원을 도입합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

llama.cpp b11302는 희소 인덱서의 ThreadSanitizer 데이터 경고를 수정합니다

llama.cpp 프로젝트는 CI 파이프라인에서 ThreadSanitizer가 식별한 중대한 동시성 문제를 해결하는 빌드 b11302를 출시했습니다. 이 업데이트는 여러 CPU 스레드가 동일한 메모리 요소에 잘못 작성하여 발생한 희소 어텐션 메커니즘 내의 데이터 경고를 해결합니다.

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b11298이 변환 및 기능 추출을 위한 dflash 지원을 추가합니다

llama.cpp 프로젝트는 dflash 형식에 대한 지원을 도입한 빌드 b11298을 출시했습니다. 이 업데이트는 모델을 이 형식으로 변환하고 후속 기능 추출 기능을 사용할 수 있게 합니다.

media Hugging Face Forums · 1시간 전 · 조회수 1회 실시간

ThermaCompute AI, 로컬 GPU 충돌 로그 분류를 위한 CrashLens 출시

ThermaCompute AI는 로그 파일을 분석하여 엔지니어가 GPU 충돌을 조사하는 데 도움이 되도록 설계된 무료 로컬 도구인 CrashLens를 출시했습니다. 이 도구는 로그 내의 알려진 실패 패턴을 식별하고 조사를 위한 구체적인 다음 단계를 제안합니다.

github llama.cpp · 8시간 전 · 조회수 2회

llama.cpp b11284가 양자화된 가중치 뷰에서 OpenVINO GET_ROWS를 수정함

llama.cpp 프로젝트는 양자화된 가중치 뷰에 대한 GET_ROWS 연산을 올바르게 처리하기 위한 OpenVINO 백엔드 수정 사항을 포함한 빌드 b11284를 출시했습니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b11280 릴리스는 고정 호스트 버퍼를 사용하여 텐서 allreduce 동기화를 줄입니다

llama.cpp 프로젝트는 고정 호스트 버퍼를 활용하여 텐서 allreduce 동기화를 줄이는 변경 사항이 포함된 버전 b11280을 출시했습니다.