github llama.cpp · 1시간 전 · inference

llama.cpp b10429은 llama_decode() 동안 /metrics 및 /slots에 접근할 수 있게 합니다

번역 English → 한국어

llama.cpp 프로젝트는 llama_decode()가 실행되는 동안 /metrics 및 /slots 엔드포인트에 접근할 수 있도록 서버를 수정하는 버전 b10429을 출시했습니다.

이 변경은 server_queue::worker가 yield_to_queue 내에서 llama_decode를 호출하도록 업데이트합니다.
또한 이 작업 동안 process_mtmd_chunk도 처리합니다.
바이너리는 macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler에서 사용할 수 있습니다.

이 업데이트는 모델 추론 동안 엔드포인트가 차단되는 것을 방지하여 서버의 응답성을 향상시킵니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10430 가상 igpu 장치 지원

llama.cpp 프로젝트가 버전 b10430을 출시하여 가상 통합 GPU(igpu) 장치에 대한 지원을 도입했습니다. 이 업데이트에는 코드베이스 내 개선된 주석도 포함되어 있습니다.

github llama.cpp · 6시간 전

llama.cpp b10427, SYCL FFN 연산 융합으로 최대 12.4% 처리량 향상

llama.cpp 프로젝트가 버전 b10427을 출시했으며, 여기에는 SYCL을 통한 Intel Arc GPU용 성능 최적화가 포함되어 있습니다. 이 업데이트는 q4_K 밀도 순방향 네트워크(FFN) 레이어 내에서 gate, up 및 GLU 연산의 융합을 구현합니다.

github llama.cpp · 8시간 전 · 조회수 1회

llama.cpp b10425가 gated-delta-net 상태 쓰기백을 융합하여 속도 +1.2% 향상

llama.cpp 프로젝트는 gated-delta-net 상태 쓰기백 복사를 융합하기 위한 SYCL 최적화의 포트를 포함하는 버전 b10425를 출시했습니다.

arxiv arXiv cs.CL · 11시간 전

축소된 행렬 곱셈: LLM 추론을 위한 입력 적응형 행렬곱 축소

연구자들은 Transformer의 행렬 곱을 모델 가중치를 수정하지 않고 수축 차원을 따라 정보적인 슬라이스를 선택하여 줄이는 학습 없는 입력 적응형 추론 방법인 축소된 행렬 곱셈(RMM)을 제안합니다. 간단한 유지 비율 제어를 통해 RMM은 1B에서 70B 파라미터에 이르는 언어 모델 전반에 걸쳐 매끄럽고 예측 가능한 정확도-효율성 트레이드오프를 제공합니다.

github llama.cpp · 16시간 전

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.