애플 M5 맥: 사양 기반 계산된 오픈 모델 적합성
이 기사는 벤치마크 실행 대신 메모리 제약을 분석하여 새로운 애플 M5 시리즈 맥(Mac mini, Mac Studio)에 맞는 오픈 대규모 언어 모델을 계산합니다. 사용 가능한 GPU 메모리를 기준으로 Q4_K_M GGUF 파일 크기, KV 캐시 요구 사항 및 런타임 오버헤드를 기반으로 용량을 결정합니다.
이 기사는 벤치마크 실행 대신 메모리 제약을 분석하여 새로운 애플 M5 시리즈 맥(Mac mini, Mac Studio)에 맞는 오픈 대규모 언어 모델을 계산합니다. 사용 가능한 GPU 메모리를 기준으로 Q4_K_M GGUF 파일 크기, KV 캐시 요구 사항 및 런타임 오버헤드를 기반으로 용량을 결정합니다.
Apple은 압축된 텍스트 이미지를 더 효율적으로 처리하도록 설계된 90억 파라미터 Vision Language Model인 LensVLM-9B를 출시했습니다. 이 모델은 이러한 압축된 입력을 스캔하고 학습된 도구를 사용하여 관련 페이지만 선택적으로 비압축 형태로 확장합니다.
oMLX의 크리에이터이자 유지 관리자입니다. Jun Kim은 MLX 커뮤니티를 지원하기 위해 Hugging Face에 합류했습니다. 이 움직임은 사이드 프로젝트에서 완전히 유지되고 자금 지원되는 이니셔티브로 전환함으로써 오픈소스 프로젝트에 안정성과 더 빠른 개발을 제공하려는 목표입니다.