media r/LocalLLaMA · 73일 전 · open_models

애플, 최대 1.5TB 통합 메모리 탑재 M7 Ultra 칩 계획

번역 English → 한국어

애플은 최대 1.5 TB의 통합 메모리를 지원할 M7 Ultra 칩을 계획 중인 것으로 알려졌다.

이 계획된 사양은 향후 Apple silicon의 메모리 용량이 크게 증가할 것임을 강조한다.

중요도 1/3 r/LocalLLaMA Apple ML Hardware & chips

애플 M5 맥: 사양 기반 계산된 오픈 모델 적합성

이 기사는 벤치마크 실행 대신 메모리 제약을 분석하여 새로운 애플 M5 시리즈 맥(Mac mini, Mac Studio)에 맞는 오픈 대규모 언어 모델을 계산합니다. 사용 가능한 GPU 메모리를 기준으로 Q4_K_M GGUF 파일 크기, KV 캐시 요구 사항 및 런타임 오버헤드를 기반으로 용량을 결정합니다.

arxiv arXiv cs.CL · 82일 전 · 조회수 10회

BaseRT, 네이티브 Metal을 통해 Apple Silicon에서 최고 수준의 LLM 추론 제공

연구자들은 Apple Silicon의 대규모 언어 모델을 위한 네이티브 Metal 추론 런타임인 BaseRT를 발표했으며, 이는 지금까지 보고된 것 중 가장 높은 추론 처리량을 달성했습니다. 칩별 커널 융합과 통합 메모리 인식 최적화를 활용하여 llama.cpp 및 MLX와 같은 기존 프레임워크에서 발견되는 오버헤드를 극복합니다.

github llama.cpp · 5시간 전 · 조회수 4회

llama.cpp b11160이 AMD RDNA3/4용 int8 coopmat1 행렬 곱과 IQ4_XS 지원을 추가했습니다

llama.cpp 프로젝트는 버전 b11160을 출시하여 AMD RDNA3 및 RDNA4 아키텍처의 Vulkan에서 int8 협력 행렬(coopmat1) 구현을 도입했습니다. 이 업데이트에는 성능을 개선하기 위해 coopmat 값을 직접 probing하는 전용 셰이더가 포함되어 있습니다.

media Latent Space · 11시간 전 · 조회수 1회

Meta Connect 2026에서 Muse 개인 에이전트, VR 안경, Charm 키체인 공개

Meta Connect 2026에서 Meta는 하드웨어와 에이전트를 결합한 전략의 중심에 개인 에이전트 Muse를 제시하며 새로운 기능과 장치를 소개하고 미래의 프런티어 모델을 예고했습니다. 회사는 음성 및 실시간 비디오 상호작용을 포함한 Muse의 확장된 기능과 VR 안경, Charm 키체인 같은 새로운 하드웨어를 선보였습니다.

media r/LocalLLaMA · 1일 전 · 조회수 10회

Apple이 압축된 텍스트 이미지를 선택적으로 확장하는 VLM인 LensVLM-9B를 출시

Apple은 압축된 텍스트 이미지를 더 효율적으로 처리하도록 설계된 90억 파라미터 Vision Language Model인 LensVLM-9B를 출시했습니다. 이 모델은 이러한 압축된 입력을 스캔하고 학습된 도구를 사용하여 관련 페이지만 선택적으로 비압축 형태로 확장합니다.