LokalBot adalah aplikasi macOS baru yang melakukan perekaman dan ringkasan rapat, autocomplete pengetikan, serta pelacakan aktivitas harian sepenuhnya di perangkat tanpa memerlukan layanan cloud atau kunci API. Alat ini dirancang khusus untuk Mac Apple Silicon yang menjalankan macOS 15 atau lebih baru, memanfaatkan Neural Engine, MLX, dan Core Audio untuk memastikan semua pemrosesan tetap offline.
- Aplikasi menggunakan llama.cpp dengan libllama untuk cotyping berlatensi rendah dan llama-server untuk tugas lainnya, mendukung file GGUF, Ollama, atau endpoint yang kompatibel dengan OpenAI.
- Transkripsi ditangani oleh Granite Speech 4.1, Parakeet, Whisper, atau Qwen3-ASR melalui CoreML/MLX, dengan Parakeet mencapai kecepatan sekitar 190x waktu nyata.
- Pencarian semantik memanfaatkan model GGUF Qwen3-Embedding 0.6B pada instance llama-server terpisah, menyimpan vektor di SQLite untuk pengambilan lokal instan.
- Diarization opsional tersedia melalui pyannote lewat FluidAudio untuk membedakan antara pembicara yang berbeda.
- Privasi diprioritaskan dengan menghilangkan panggilan jaringan setelah unduhan model awal, dengan tangkapan layar opsional yang disegel melalui AES-GCM dan diatur untuk dihapus secara otomatis.
Aplikasi ini bertujuan untuk menggabungkan beberapa alat terpisah menjadi satu antarmuka sambil mempertahankan privasi ketat dengan menyimpan semua data di mesin pengguna.