Pengembang harness AI lokal OpenFox telah mengimplementasikan fitur yang disebut "pemanasan cache spekulatif" yang memproses prompt sistem dan array alat saat pengguna mengetik input mereka. Optimasi ini memungkinkan model mulai memproses data konteks statis sebelum prompt sebenarnya dikirim, secara efektif mengurangi latensi yang dialami saat memulai sesi baru.

  • Prompt sistem (berisi AGENTS.md dan preferensi) dan array alat diproses di latar belakang selama pengetikan.
  • Ketika pengguna mengirim prompt, hanya teks prompt yang tersisa yang perlu diproses oleh LLM.
  • Pada kecepatan pemrosesan 500 token per detik, metode ini menghemat sekitar 10 hingga 20 detik waktu tunggu.

Perubahan ini membuat interaksi dengan LLM lokal lebih responsif dan mengurangi waktu idle yang biasanya terkait dengan inisialisasi sesi baru.