github llama.cpp · 1시간 전 · inference

llama.cpp b10430 가상 igpu 장치 지원

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10430을 출시하여 가상 통합 GPU(igpu) 장치에 대한 지원을 도입했습니다. 이 업데이트에는 코드베이스 내 개선된 주석도 포함되어 있습니다.

이번 릴리스는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, OpenVINO, SYCL 및 비활성화된 ROCm 포함 Ubuntu), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL 및 ROCm 7.14 포함) 및 openEuler 아키텍처에 대한 바이너리와 프레임워크를 제공합니다.

이 업데이트는 광범위한 운영 체제와 하드웨어 가속기에서 가상 igpu 구성을 사용하는 시스템에서 llama.cpp를 실행할 수 있도록 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 방금 실시간

llama.cpp b10429은 llama_decode() 동안 /metrics 및 /slots에 접근할 수 있게 합니다

llama.cpp 프로젝트는 llama_decode()가 실행되는 동안 /metrics 및 /slots 엔드포인트에 접근할 수 있도록 서버를 수정하는 버전 b10429을 출시했습니다.

github llama.cpp · 6시간 전

llama.cpp b10427, SYCL FFN 연산 융합으로 최대 12.4% 처리량 향상

llama.cpp 프로젝트가 버전 b10427을 출시했으며, 여기에는 SYCL을 통한 Intel Arc GPU용 성능 최적화가 포함되어 있습니다. 이 업데이트는 q4_K 밀도 순방향 네트워크(FFN) 레이어 내에서 gate, up 및 GLU 연산의 융합을 구현합니다.

github llama.cpp · 7시간 전 · 조회수 1회

llama.cpp b10425가 gated-delta-net 상태 쓰기백을 융합하여 속도 +1.2% 향상

llama.cpp 프로젝트는 gated-delta-net 상태 쓰기백 복사를 융합하기 위한 SYCL 최적화의 포트를 포함하는 버전 b10425를 출시했습니다.

arxiv arXiv cs.CL · 10시간 전

축소된 행렬 곱셈: LLM 추론을 위한 입력 적응형 행렬곱 축소

연구자들은 Transformer의 행렬 곱을 모델 가중치를 수정하지 않고 수축 차원을 따라 정보적인 슬라이스를 선택하여 줄이는 학습 없는 입력 적응형 추론 방법인 축소된 행렬 곱셈(RMM)을 제안합니다. 간단한 유지 비율 제어를 통해 RMM은 1B에서 70B 파라미터에 이르는 언어 모델 전반에 걸쳐 매끄럽고 예측 가능한 정확도-효율성 트레이드오프를 제공합니다.

github llama.cpp · 15시간 전

llama.cpp b10418이 SYCL 호스트 고정 메모리 지원을 추가합니다

llama.cpp 프로젝트는 SYCL의 호스트-ToDevice 메모리 액세스를 개선하기 위해 호스트 고정 메모리에 대한 지원을 도입한 버전 b10418을 출시했습니다. 이 업데이트는 백엔드 구현 내의 스레드 안전성 문제를 해결합니다.