llama.cpp 서버가 이제 /v1/embeddings 엔드포인트에 대한 유형별 콘텐츠(비전, 오디오, 비디오) 입력을 지원합니다. 이 업데이트는 OpenAI 스타일의 래핑된 콘텐츠 배열을 수락하여 텍스트와 image_url 부분을 함께 처리함으로써 멀티모달 임베딩 요청을 가능하게 합니다.
- 멀티모달 임베딩을 위한 OpenAI 스타일 래핑된 콘텐츠 배열 형식을 수락합니다.
- 텍스트 부분은 연결되고, image_url 부분은 handle_media를 통해 디코딩되며 process_mtmd_prompt와 함께 결합됩니다.
- 레거시 형식(일반 문자열, 토큰 배열, 혼합 배열)은 변경 없이 계속 작동합니다.
- 비어 있는 콘텐츠 배열은 마이그레이션 메시지와 함께 거부됩니다.
- 상태 없는 임베딩/재순위 작업에서 KV 접두사 재사용을 비활성화하여 요청 간 잘못된 캐시 공유를 방지합니다.
이 변경 사항을 통해 사용자는 표준 OpenAI API 형식을 사용하여 멀티모달 입력에 대한 임베딩을 생성할 수 있으며, 반복된 입력이 잘못되어 키-값 쌍을 공유하지 않도록 보장합니다.