LokalBot 是一款全新的 macOS 应用程序，可在设备端完全执行会议录音与摘要、打字自动补全以及日常活动跟踪，无需依赖云服务或 API 密钥。该工具专为运行 macOS 15 或更高版本的 Apple Silicon Mac 设计，利用 Neural Engine、MLX 和 Core Audio 确保所有处理均在离线状态下完成。

  • 该应用使用 llama.cpp 中的 libllama 实现低延迟的打字辅助，并使用 llama-server 处理其他任务，支持 GGUF 文件、Ollama 或 OpenAI 兼容端点。
  • 转录功能由 Granite Speech 4.1、Parakeet、Whisper 或 Qwen3-ASR 通过 CoreML/MLX 处理，其中 Parakeet 可实现约 190 倍实时速度。
  • 语义搜索利用独立的 llama-server 实例上的 Qwen3-Embedding 0.6B GGUF 模型，并将向量存储在 SQLite 中以实现即时的本地检索。
  • 可选的说话人分离功能通过 FluidAudio 中的 pyannote 实现，用于区分不同的说话人。
  • 隐私保护是首要任务，在初始模型下载后消除所有网络调用，可选截图通过 AES-GCM 加密密封并设置为自动删除。

该应用旨在将多个独立工具整合到单一界面中，同时通过将所有数据保留在用户设备上，保持严格的隐私保护。