github llama.cpp · 1시간 전 · inference

llama.cpp b10331이 서버의 get_info를 수정하여 격리된 작업 디렉토리를 올바르게 보고

번역 English → 한국어

llama.cpp 프로젝트는 서버의 `get_info` 엔드포인트에 대한 수정을 포함한 빌드 b10331을 출시했습니다. 이전에 명시적인 현재 작업 디렉토리가 제공되지 않은 경우, tools runtime이 구성되어 있더라도 함수가 서버 프로세스의 작업 디렉토리로 잘못 폴백되었습니다.

tools runtime이 활성화되어 있을 때 서버는 격리된 환경에서 작업 디렉토리를 요청하여 올바른 경로가 보고되도록 합니다.
도구가 호스트에서 직접 실행될 때만 프로세스 작업 디렉토리를 유지합니다.
코드베이스에서 중복 주석이 제거되었습니다.

이 변경으로 도구 실행 경로가 서버 정보 응답에 정확하게 반영되어 이름 지정된 호스트 경로가 격리된 환경의 실제 환경과 일치하지 않는 문제를 방지합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10330, CUDA에서 rms_norm, mul, rope 융합

llama.cpp 프로젝트는 rms_norm, 곱셈, RoPE 연산을 단일 커널로 융합하는 CUDA 최적화를 도입한 버전 b10330을 출시했습니다. 이 변경에는 융합된 연산에 대한 메모리 범위 확인과 브로드캐스트 가중치를 위한 새로운 테스트 케이스가 포함됩니다.

github llama.cpp · 9시간 전 · 조회수 1회

llama.cpp b10328, Docker을 통한 서버 도구 격리 초기 지원 추가

llama.cpp 프로젝트는 Docker를 사용하여 서버 구성 요소 내에서 도구를 격리하는 초기 지원을 도입한 빌드 b10328을 출시했습니다. 이 업데이트에는 도구 I/O 샌드박스 분리와 관련 구성 플래그 이름 변경을 위한 문서 및 코드 적응이 포함되어 있습니다.

github llama.cpp · 19시간 전 · 조회수 1회

llama.cpp b10327이 양자화된 복사 커널의 스레드/블록 수를 수정함

llama.cpp 프로젝트는 CUDA에서 양자화된 복사 커널 실행 시 스레드 및 블록 수에 대한 수정을 포함한 버전 b10327을 출시했습니다. 이 업데이트는 pull request #26731에서 식별된 문제를 해결합니다.

github llama.cpp · 1일 전

llama.cpp b10326 타이밍에 보코더 패스 반영

llama.cpp 프로젝트는 보코더 패스를 포함하여 타이밍 측정 계산 방식을 수정하는 빌드 b10326을 출시했습니다.

github llama.cpp · 1일 전

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.