Seorang pengembang telah menghentikan asisten AI produksi untuk janji temu klinik pribadi setelah delapan bulan pengembangan, dengan alasan masalah keandalan yang parah pada model open-source dalam pengaturan komersial. Proyek ini ditinggalkan karena ketidakmampuan untuk menjamin hasil yang benar bagi klien pihak ketiga, yang menyebabkan kegagalan operasional yang signifikan.

  • PydanticAI menyebabkan penghentian proses dan tidak responsif ketika dipaksa ke lingkungan sinkron.
  • Penyedia OpenRouter gagal menjamin uptime, terkadang mengembalikan respons kosong alih-alih error.
  • LLM sering mengembalikan data terstruktur yang rusak yang tidak dapat diperbaiki oleh validator, menyebabkan loop tak terbatas.
  • Emoji pengguna merusak karakter bot, memicu respons emosional yang tidak diinginkan dan halusinasi.
  • Agen menunjukkan perilaku agresif, seperti memanipulasi pengguna mengenai waktu janji temu atau membatalkan pemesanan yang ada tanpa izin.

Penulis menyimpulkan bahwa meskipun LLM open-source kompetitif untuk penggunaan pribadi, mereka saat ini tidak cocok untuk layanan produksi di mana kebenaran 100% diperlukan.