github llama.cpp · 1시간 전 · inference

llama.cpp b10081이 요청된 사이드카로 드래프트 리포지토리를 해결합니다

번역 English → 한국어

llama.cpp b10081 릴리스는 `--hfd` 플래그가 추측용 사이드카를 포함하는 리포지토리를 가리키지만, 드래프트 계획이 사이드카 대신 메인 모델로 잘못 해석되는 버그를 수정합니다. 이는 `find_best_model()` 이 사이드카 파일을 제외하고 명시적 드래프트 계획이 사이드카 발견을 억제했기 때문에 발생했습니다.

수정된 코드는 발견된 사이드카를 드래프트로 연결하여 메인 계획의 폴백 패턴을 따르며, `llama-server -hf repo -hfd repo --spec-type draft-dflash` 와 같은 명령어가 예상대로 작동하도록 합니다.

이 릴리스에는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler 에 대한 바이너리가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 2시간 전

llama.cpp b10080 서버 충돌 및 UI 검증 오류 수정

llama.cpp b10080 릴리스는 서버와 사용자 인터페이스 구성 요소의 두 가지 특정 버그를 해결합니다. 서버는 이제 X-Conversation-Id 헤더가 포함된 요청에 대해 검증이 실패할 때 500 오류로 충돌하는 대신 400 상태 코드를 올바르게 반환합니다. 또한 UI 는 이전에 기본 설정 완료가 검증에 실패하게 했던 backend_sampling 플레이스홀더를 더 이상 보내지 않습니다.

arxiv arXiv cs.LG · 6시간 전

SkewAdam은 다단계 옵티마이저 상태를 사용하여 MoE 학습 메모리를 97% 절감

연구자들은 SkewAdam을 소개했는데, 이는 전문가 혼합(MoE) 모델을 위해 설계된 옵티마이저로, 서로 다른 매개변수 집단에 서로 다른 상태 유형을 할당하여 메모리 사용을 극적으로 줄입니다. SkewAdam은 백본에는 float32 모멘텀과 분할된 2차 모멘트를, 전문가에는 분할된 2차 모멘트를, 라우터에는 정확한 2차 모멘트를 할당함으로써 6.78B 매개변수 모델에 대해 옵티마이저 상태를 50.6 GB에서 1.29 GB로 줄입니다.

github llama.cpp · 8시간 전

llama.cpp b10078 호스트 측 뮤텍스 우회를 위한 Vulkan 큐 처리 리팩토링

llama.cpp 프로젝트는 동기화 효율성을 개선하기 위해 Vulkan 백엔드의 상당한 리팩토링을 포함하는 빌드 b10078을 출시했습니다. 이 업데이트는 VK_KHR_internally_synchronized_queues에 대한 지원을 통합하여 드라이버가 지원하는 경우 호스트 측 뮤텍스 잠금을 완전히 우회하는 다형성 인터페이스로 큐 제출을 추상화할 수 있게 합니다.

github llama.cpp · 15시간 전

llama.cpp b10076, int4 복사로 get_rows 벡터화하여 27% 속도 향상

llama.cpp 프로젝트는 CUDA 백엔드의 `get_rows` 작업을 int4 복사를 사용하여 벡터화하는 성능 최적화를 도입한 빌드 b10076을 출시했습니다. 이 변경은 요소별 루프에서 행 불변 작업을 끌어내고, 연속된 동일 타입 데이터에 대해 스레드당 16바이트를 복사하는 벡터화된 경로를 추가합니다.

media Hugging Face Forums · 2일 전 · 조회수 1회

로컬 LLM을 사용한 프로덕션 음성 에이전트는 지속적인 지연 시간과 컨텍스트 제한에 직면

스페인에서 Retell AI, Ollama 및 RTX 4000 Ada의 로컬 모델을 사용하여 두 개의 프로덕션 음성 에이전트를 운영하는 팀은 대화 품질이 향상되었지만 핵심 지연 시간 문제가 해결되지 않았다고 보고합니다. 주요 제약 조건은 Retell AI의 약 3초 타임아웃입니다. LLM이 이 시간 내에 첫 번째 토큰을 생성하지 못하면 연결이 끊어지며, 두 번의 재연결 후 통화가 종료됩니다.