github llama.cpp · 1 jam lalu · inference

llama.cpp b10203 menambahkan dukungan SYCL untuk perkalian matriks q2_0

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10203, yang memperkenalkan dukungan untuk format kuantisasi q2_0 dalam operasi perkalian matriks berbasis SYCL. Pembaruan ini memperluas kompatibilitas pustaka untuk skenario akselerasi perangkat keras tertentu.

Menambahkan dukungan untuk q2_0 di mul_mat melalui PR #26231.
Memperluas cakupan ke kasus q2_0 tambahan di dalam backend SYCL.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Rilis ini memungkinkan pengguna memanfaatkan kuantisasi q2_0 pada perangkat yang kompatibel dengan SYCL, memperluas rentang konfigurasi perangkat keras yang didukung untuk inferensi model yang efisien.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10206 menerapkan jenis cache K dan V yang sama untuk model DeepSeek V4 dan MLA

Proyek llama.cpp telah merilis versi b10206, yang memperkenalkan perubahan spesifik pada penanganan cache kunci-nilai dalam mekanisme perhatian. Pembaruan ini memastikan bahwa jenis cache K dan V tetap konsisten untuk model DeepSeek V4.

github llama.cpp · 2 jam lalu

Rilis llama.cpp b10202 dengan fusi SYCL RMS_NORM

Proyek llama.cpp telah merilis versi b10202, memperkenalkan optimasi SYCL yang menyatukan operasi RMS_NORM dan MUL.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10201 meningkatkan flash attention untuk KV terkuantisasi pada konteks panjang

Proyek llama.cpp telah merilis versi b10201, yang mencakup peningkatan kunci pada backend ggml-webgpu. Pembaruan ini meningkatkan kinerja flash attention saat menangani cache kunci-nilai terkuantisasi selama generasi konteks panjang.

media Latent Space · 7 jam lalu

OpenAI memangkas harga GPT-5.6 hingga 80% melalui optimisasi mandiri

OpenAI telah mengumumkan pengurangan harga yang signifikan untuk model-model GPT-5.6-nya, didorong oleh peningkatan efisiensi sistemik dan teknik optimisasi diri secara rekursif. Perusahaan melaporkan bahwa biaya kecerdasan tingkat GPT-5.4 telah turun sekitar 13 kali lipat dalam empat bulan, dengan harga GPT-5.6 Luna dipotong sebesar 80% dan Terra sebesar 20%.

blog Simon Willison · 14 jam lalu · 2 tayangan

OpenAI memangkas harga GPT-5.6 Luna sebesar 80% dengan menggunakan Sol untuk mengoptimalkan inferensi

OpenAI telah secara signifikan menurunkan harga untuk keluarga model GPT-5.6, memperkenalkan penurunan harga besar-besaran sebesar 80% untuk GPT-5.6 Luna dan pengurangan sebesar 20% untuk GPT-5.6 Terra. Perubahan ini dimungkinkan oleh GPT-5.6 Sol, yang mengoptimalkan forward pass dan kernel produksi model untuk meningkatkan efisiensi.