github llama.cpp · 1시간 전 · inference

llama.cpp b10412, dflash 및 dspark에 대한 백엔드 샘플링 활성화

번역 English → 한국어

llama.cpp 프로젝트는 dflash 및 dspark 백엔드에 대한 백엔드 샘플링 지원을 도입한 버전 b10412를 출시했습니다. 이 업데이트는 또한 백엔드 샘플링 로직 내에서 0보다 큰 p_min 값을 허용하고 해당 보호 장치를 추가합니다.

dflash 및 dspark에 대한 백엔드 샘플링 활성화.
보호 장치를 추가하여 백엔드 샘플링에서 p_min > 0 허용.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, openEuler용 바이너리 제공.

이 릴리스는 llama.cpp 사용자를 위한 사용 가능한 하드웨어 가속 옵션을 확장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10414가 TQ2_0 지원을 추가하고 mul_mv 커널을 최적화함

llama.cpp 프로젝트는 Metal 백엔드에 GGML_TYPE_TQ2_0 삼원 양자화 유형에 대한 지원을 도입하는 빌드 b10414를 출시했습니다. 이 업데이트에는 연속 텐서(cont) mul_mv 커널의 최적화도 포함되어 있습니다.

lab OpenAI News · 2시간 전

OpenAI, GPT-5.6 Sol을 최대 14배 빠르게 실행하는 Ultrafast 모드 미리보기

OpenAI는 표준 처리보다 최대 14배 빠른 GPT-5.6 Sol 모델을 실행하는 새로운 서비스 계층인 Ultrafast의 미리 버전을 출시하고 있습니다. Cerebras 하드웨어로 구동되는 이 모드는 초당 최대 750개의 출력 토큰을 생성하며, 초기에는 OpenAI API를 통해 제공됩니다.

github llama.cpp · 3시간 전

llama.cpp b10410이 gemm non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거

llama.cpp 프로젝트는 SYCL 백엔드에 대한 코드 변경을 포함하는 버전 b10410을 출시했습니다. 이 업데이트는 GEMM non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거하고 대신 자동 fp16 승격을 사용합니다.

github llama.cpp · 4시간 전

llama.cpp b10408이 Q3_K ESIMD 커널을 추가하고 런타임으로 제어를 이동

llama.cpp 프로젝트는 Intel GPU용 DMMV Q3_K ESIMD 커널을 도입한 버전 b10408을 출시했습니다. 이 릴리스에는 새로운 Q4_K 및 Q6_K ESIMD 커널도 포함되어 있으며, ESIMD 제어를 컴파일 시점이 아닌 런타임에서 가능하도록 코드베이스를 리팩토링했습니다.

media Hugging Face Forums · 9시간 전 · 조회수 1회

liventruth가 FSQ를 활용한 384x KV-Cache 압축을 위한 UL-SMF 출시

개발자 liventruth는 표준 FP32 키-값 캐시를 유한 스칼라 양자화(FSQ)를 사용하여 16차원 이산 잠재 공간으로 압축하는 하드웨어-소프트웨어 공동 설계 아키텍처인 Unified Latent-State Memory Fabric(UL-SMF)를 오픈소스로 공개했습니다.