github llama.cpp · 1시간 전 · inference

llama.cpp b10437이 MiniMax-Text-01 및 MiniMax-M1 모델 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10437을 출시하여 MiniMax-Text-01 및 MiniMax-M1 인과 언어 모델에 대한 네이티브 지원을 도입했습니다. 이 업데이트에는 llama.cpp 프레임워크 내에서 이러한 특정 모델을 실행하는 데 필요한 변환 스크립트, 채팅 템플릿 및 모델 아키텍처 구현이 포함되어 있습니다.

모델 레이어에 `MiniMaxText01ForCausalLM` 및 `MiniMaxM1ForCausalLM` 지원을 추가했습니다.
샘플링 프로세스의 방해를 방지하기 위해 제로 값 임베딩에 대한 토큰 억제를 구현했습니다.
상태 전치 연산을 제거하고 간결한 구현을 위해 공통 함수를 사용하여 성능을 최적화했습니다.
MiniMax-M1 전용 Jinja 채팅 템플릿을 추가했습니다.
CPU, GPU 및 다양한 가속기를 위한 macOS, Linux, Windows, Android 및 openEuler에 대한 빌드 아티팩트를 포함했습니다.

이 릴리스를 통해 사용자는 llama.cpp의 기존 추론 인프라를 사용하여 MiniMax 모델을 로컬에서 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp MiniMax Inference efficiency

관련 기사

github llama.cpp · 19일 전 · 조회수 4회

llama.cpp b10142가 MiniMax-M3 비전 지원의 초기 버전을 추가함

llama.cpp 프로젝트는 MiniMax-M3 모델에 대한 초기 비전 지원을 도입하는 빌드 b10142를 출시했습니다. 이 업데이트는 기존 구성 요소를 재사용하는 텍스트 전용 포트를 구현했으며, 여기에는 헤드별 QK 정규화와 부분 회전, DeepSeek-V3 스타일 전문가, swigluoai 활성화가 포함된 GQA가 포함됩니다.

github llama.cpp · 8시간 전

llama.cpp b10435이 jinja gather_string_parts의 이차 비용을 수정함

llama.cpp 프로젝트는 Jinja 템플릿 엔진 내의 성능 문제를 해결한 버전 b10435를 출시했습니다. 주요 변경 사항은 `gather_string_parts` 함수의 이차 시간 복잡도 버그를 수정하는 것입니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10434이 템플릿에 reasoning_effort 전달

llama.cpp 프로젝트는 `reasoning_effort` 매개변수를 Jinja 템플릿으로 전달하는 지원을 추가한 빌드 b10434를 출시했습니다. 이 변경으로 OpenAI Chat Completions의 `reasoning_effort` 값이 저장되고 생성 동안 사용 가능해집니다.

lab NVIDIA Research · 12시간 전 · 조회수 6회

Nvidia, 하이브리드 도메인 지식 융합을 통한 실시간 초상화 재조명을 위한 FusionRelight 발표

엔비디아 연구진은 물리적으로 타당한 조명 전달과 정체성 보존, 그리고 컴팩트한 실시간 추론을 결합하는 초상화 재조명 방법인 FusionRelight를 소개했습니다. 이 접근 방식은 합성 데이터, One-Light-at-a-Time (OLAT) 데이터 및 자연 환경(in-the-wild) 데이터에서 물리, 반사율, 현실감 사전 지식을 학생 모델로 증류하는 학습 프레임워크인 하이브리드 도메인 지식 융합(HDKF)을 활용합니다.

github llama.cpp · 13시간 전 · 조회수 1회

llama.cpp b10431이 SSM 모델에 재귀 상태 롤백 추가

llama.cpp 프로젝트는 ggml_ssm_scan 연산에서 재귀 상태(RS) 롤백 지원을 도입한 버전 b10431을 출시했습니다. 이 변경으로 CPU 및 CUDA 백엔드에서 Nemotron 모델의 RS 롤백이 가능해집니다.