github llama.cpp · 1시간 전 · inference

llama.cpp b10203, q2_0 행렬 곱셈에 SYCL 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 SYCL 기반 행렬 곱셈 연산에서 q2_0 양자화 형식에 대한 지원을 도입한 버전 b10203을 출시했습니다. 이 업데이트는 특정 하드웨어 가속 시나리오에 대한 라이브러리의 호환성을 확장합니다.

PR #26231을 통해 mul_mat에서 q2_0 지원 추가.
SYCL 백엔드 내 추가 q2_0 케이스에 대한 커버리지 확장.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리 제공.

이 릴리스는 사용자가 SYCL 호환 장치에서 q2_0 양자화를 활용할 수 있게 하여 효율적인 모델 추론을 위한 지원 하드웨어 구성 범위를 넓혔습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10206, DeepSeek V4 및 MLA 모델에 동일한 K 및 V 캐시 유형 강제 적용

llama.cpp 프로젝트는 버전 b10206을 출시했으며, 이는 어텐션 메커니즘에서 키-값 캐시를 처리하는 방식에 특정 변경 사항을 도입했습니다. 이 업데이트는 DeepSeek V4 모델의 K 및 V 캐시 유형이 일관되게 유지되도록 보장합니다.

github llama.cpp · 2시간 전

SYCL RMS_NORM 융합을 포함한 llama.cpp b10202 릴리스

llama.cpp 프로젝트는 RMS_NORM 및 MUL 연산을 융합하는 SYCL 최적화를 도입한 버전 b10202를 출시했습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b10201이 긴 컨텍스트에서 양자화된 KV에 대한 flash attention을 개선

llama.cpp 프로젝트는 ggml-webgpu 백엔드에 대한 주요 개선을 포함하는 버전 b10201을 출시했습니다. 이 업데이트는 긴 컨텍스트 생성 동안 양자화된 키-값 캐시를 처리할 때 flash attention 성능을 향상시킵니다.

media Latent Space · 7시간 전

OpenAI, 자체 최적화를 통해 GPT-5.6 가격 최대 80% 인하

OpenAI는 시스템 효율성 개선과 재귀적 자기 최적화 기법에 힘입어 GPT-5.6 모델에 대한 상당한 가격 인하를 발표했습니다. 동사는 GPT-5.4 수준의 지능 비용이 4개월 동안 약 13배 감소했으며, GPT-5.6 Luna 가격은 80%, Terra 가격은 20% 절감되었다고 보고합니다.

blog Simon Willison · 14시간 전 · 조회수 2회

OpenAI, 솔을 활용해 GPT-5.6 Luna 가격 80% 인하 및 추론 최적화

OpenAI는 자체 GPT-5.6 모델 계열의 가격을 대폭 낮추었으며, GPT-5.6 Luna에 대해 80%, GPT-5.6 Terra에 대해 20%의 가격 인하를 도입했습니다. 이러한 변경은 모델의 순전파 및 프로덕션 커널을 최적화하여 효율성을 향상시키는 GPT-5.6 Sol을 통해 가능해졌습니다.