github llama.cpp · 5시간 전 · inference

llama.cpp, embeddingGemma2 멀티모달 임베딩 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 텍스트, 비전, 오디오 입력을 처리하는 embeddingGemma2 모델에 대한 지원을 추가했습니다. 이 업데이트는 pull request #30054를 통해 구현되었습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Multimodal

llama.cpp v0.6.0에서 확장된 배치 API, GLM-5.3-Flash 지원 및 의사결정 모델 엔드포인트 추가

llama.cpp v0.6.0은 혼합 토큰 및 임베딩 입력을 위한 새로운 llama_batch_ext 확장 배치 API를 도입하며, GLM-5.3-Flash 320B 하이브리드 모델과 Clef 의사결정 모델을 지원합니다.

github llama.cpp · 8일 전 · 조회수 45회

llama.cpp b11240이 /v1/embeddings에 유형 기반 멀티모달 입력 지원을 추가함

llama.cpp 서버가 이제 /v1/embeddings 엔드포인트에 대한 유형별 콘텐츠(비전, 오디오, 비디오) 입력을 지원합니다. 이 업데이트는 OpenAI 스타일의 래핑된 콘텐츠 배열을 수락하여 텍스트와 image_url 부분을 함께 처리함으로써 멀티모달 임베딩 요청을 가능하게 합니다.

media MarkTechPost · 11일 전 · 조회수 46회

Liquid AI, 최대 3.13배 빠른 디코딩을 위한 LFM2.5-VL-3B-DSpark 추측적 드래프터 출시

Liquid AI는 자사의 LFM2.5-VL-3B 비전-언어 모델을 위한 실험적 추측적 디코딩 드래프트 모델인 LFM2.5-VL-3B-DSpark를 출시했습니다. 이 드래프터는 약 280M개의 파라미터를 추가하여 모델의 출력 분포를 변경하지 않고 토큰 생성을 가속화합니다.

lab Hugging Face Blog · 12일 전 · 조회수 38회

Liquid AI, LFM2.5-VL-DSpark를 출시하여 비전-언어 모델 추론 가속화

Liquid AI는 LFM2.5-VL-3B 비전-언어 모델의 추론을 가속화하기 위해 설계된 추측적 디코딩용 드래프터인 LFM2.5-VL-DSpark 드래프트 모델을 출시했습니다. 이 드래프터는 대상 모델의 고정된 레이어에서 은닉 상태를 포착하여 후보 토큰을 생성하며, 모달리티 간 차원을 동일하게 유지하면서 280M 파라미터(8.9% 오버헤드)만 추가합니다.

lab Liquid AI · 12일 전 · 조회수 40회

Liquid AI, LFM2.5-VL-3B용 DSpark 초안 모델 출시

Liquid AI는 시각-언어 모델 LFM2.5-VL-3B를 위한 실험용 DSpark 초안 모델을 출시하여 출력 품질을 변경하지 않고 에지 장치 및 GPU에서 더 빠른 디코딩을 가능하게 했습니다.