github llama.cpp · 방금 · inference

llama.cpp b10153이 Nanbeige4.2 모델 지원을 추가함

번역 English → 한국어

llama.cpp 프로젝트가 빌드 b10153을 출시하여 Nanbeige4.2 모델 아키텍처에 대한 지원을 도입했습니다.

Nanbeige4.2 모델을 로드하고 실행하기 위한 호환성을 추가했습니다.
코드베이스에서 flake8 린팅 검사를 수정했습니다.
루프 경계 검사를 수정하고 중복된 head_dim 로직을 제거했습니다.
CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL 및 기타 백엔드를 통해 macOS (Apple Silicon 및 Intel), Linux, Windows, Android, iOS용 바이너리를 제공합니다.

이 업데이트를 통해 사용자는 llama.cpp 프레임워크 내에서 Nanbeige4.2 모델을 활용하면서 전반적인 코드 품질 개선의 이점을 누릴 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Local inference

원문 보기

llama.cpp b10150이 ggml 오프로딩 로직을 조정하고 dsv4 그래프를 수정

llama.cpp 프로젝트는 가중치 백엔드로 연산을 오프로드하는 ggml 로직에 대한 조정을 포함한 빌드 b10150을 출시했습니다. 이 업데이트는 llama dsv4 그래프에 대한 수정도 다룹니다.

media Hugging Face Forums · 4시간 전

TraceML이 데이터 로딩 병목 현상을 진단하기 위해 Hugging Face Trainer 콜백 추가

저자는 GPU 계산 바운드와 입력 바운드 학습 성능 문제를 구분하는 데 도움을 주기 위해 오픈 소스 PyTorch 관측성 프로젝트인 TraceML에 진단 도구를 통합했습니다. 이 새로운 기능은 낮은 GPU 활용률이 느린 데이터 로딩 때문인지 실제 모델 계산 한계 때문인지 개발자가 빠르게 식별할 수 있게 합니다.

github llama.cpp · 6시간 전 · 조회수 1회

Aaron Teo가 llama.cpp에 -lm mlock 인수를 추가함

Aaron Teo가 llama.cpp 저장소에 `-lm mlock` 명령줄 인수를 도입하는 변경 사항을 제출했습니다. 이 추가 기능을 통해 사용자는 코드가 `mlock` 작업을 수행하지만 `mmap`을 사용하지 않는 영역에서 명시적으로 메모리를 잠글 수 있습니다.

github llama.cpp · 4일 전

llama.cpp b10093이 DeepSeek v4 템플릿을 수정하고 drop_reasoning 플래그를 추가함

llama.cpp 프로젝트는 DeepSeek v4 모델을 지원하기 위한 특정 업데이트가 포함된 빌드 b10093을 출시했습니다. 이번 릴리스는 템플릿 처리를 해결하고 이 모델 계열에 대한 새로운 구성 플래그를 도입했습니다.

media Hugging Face Forums · 5일 전

Forge가 브라우저에서 Hugging Face 모델을 위한 샌드박스 UI를 생성 및 컴파일합니다

Amin Musah는 별도의 코드 모델을 사용하여 동적으로 사용자 인터페이스를 생성하는 Hugging Face 모델을 위한 오픈소스 브라우저 플레이그라운드인 Forge를 구축했습니다. 시스템은 작업 사양에 기반하여 TSX 컴포넌트를 생성하며, 브라우저는 이를 esbuild-wasm로 클라이언트 측에서 컴파일하고 샌드박스 iframe에서 실행합니다.