LokalBot은 클라우드 서비스나 API 키 없이 기기 내에서만 미팅 녹음 및 요약, 입력 자동 완성, 일일 활동 추적을 수행하는 새로운 macOS 애플리케이션입니다. 이 도구는 macOS 15 이상을 실행하는 Apple Silicon Mac용으로 설계되었으며, Neural Engine, MLX, Core Audio를 활용하여 모든 처리가 오프라인에서 이루어지도록 보장합니다.
- 저지연 입력 완성을 위해 llama.cpp의 libllama를 사용하고, 기타 작업에는 llama-server를 사용하며 GGUF 파일, Ollama, OpenAI 호환 엔드포인트를 지원합니다.
- 음성 인식은 Granite Speech 4.1, Parakeet, Whisper, Qwen3-ASR을 CoreML/MLX를 통해 처리하며, Parakeet은 실시간 대비 약 190배의 속도를 달성합니다.
- 시맨틱 검색은 별도의 llama-server 인스턴스에서 Qwen3-Embedding 0.6B GGUF 모델을 활용하며, 벡터를 SQLite에 저장하여 로컬에서 즉시 검색할 수 있습니다.
- pyannote를 FluidAudio를 통해 호출하여 옵션으로 화자 분리(diarization) 기능을 제공합니다.
- 초기 모델 다운로드 후 네트워크 호출을 제거하여 프라이버시를 우선시하며, 옵션으로 제공되는 스크린샷은 AES-GCM으로 암호화되어 자동 삭제되도록 설정됩니다.
이 애플리케이션은 모든 데이터를 사용자 기기에 유지하면서 엄격한 프라이버시를 보장하고, 여러 별도 도구를 단일 인터페이스로 통합하는 것을 목표로 합니다.