MIT 연구원이 로컬 추론 모니터링을 위한 오픈소스 LLM Serve 대시보드 공개

한 개발자가 로컬 대규모 언어 모델(LLM) 서빙 인프라를 모니터링하도록 설계된 오픈소스 단일 파일 대시보드를 출시했습니다. 이 도구는 llama.cpp 및 vLLM 배포에 대한 GPU 활용률, 모델별 처리량, KV 캐시 채움 비율 및 시스템 통계를 실시간으로 가시화합니다.

• 프론트엔드는 file:// 프로토콜을 통해 직접 열리는 단일 HTML 파일로 구성되며, 백엔드는 표준 Python 라이브러리를 사용하여 nvidia-smi 데이터와 Prometheus 메트릭을 읽습니다.
• VRAM, 전력, 온도 및 추정치가 아닌 실제 쿼리에서 유도된 컴퓨팅 테넌트를 포함하여 카드별 GPU 세부 정보를 표시합니다.
• 주요 워커 메트릭에는 초당 디코드 및 프리필 토큰 수, 요청 수, 컨텍스트 채움 비율이 포함되며, 모델 스왑을 처리하기 위해 서버 포트 자동 발견 기능을 제공합니다.
• 선택적 기능에는 추가 CPU/GPU 인스턴스를 위한 보조 서버 행, 탐색 가능한 모델 라이브러리 재고, 그리고 사고사슬(chain-of-thought) 로깅을 위한 옵션 실시간 추론 탭이 포함됩니다.

이 대시보드는 특히 교사 모델 증류(teacher model distillation)를 활용하는 사용자를 지원하여 로컬 LLM 설정의 관측 가능성(observability)을 향상시키는 것을 목표로 합니다.