Seorang pengembang yang menerapkan Llama 3.1:8b-instruct-q4_K_M melalui Ollama dengan FastAPI dan Qdrant untuk agen suara berbahasa Spanyol dan WhatsApp mengidentifikasi tiga masalah produksi terkait bagaimana model menangani konteks yang disuntikkan dalam percakapan multi-giliran.
- Menyisipkan pesan sistem kedua di tengah percakapan menyebabkan model merespons instruksi yang disuntikkan alih-alih menyerapnya secara diam-diam, sehingga menyebabkan hilangnya riwayat percakapan; memindahkan semua konteks dinamis ke pesan sistem awal menyelesaikan masalah ini.
- Model terkadang menolak untuk menjawab ketika potongan RAG yang diambil panjang atau berupa paragraf tidak terstruktur, menganggap materi referensi sebagai pertanyaan pengguna alih-alih kueri sebenarnya.
- Membatasi riwayat percakapan hingga enam pesan terakhir menyebabkan amnesia dalam panggilan yang lebih panjang; menaikkan num_ctx menjadi 4096 dan memperluas jendela menjadi 16 giliran memperbaiki masalah ini.
Penulis mencari konfirmasi apakah perilaku ini merupakan keterbatasan yang diketahui dari penyetelan instruksi Llama 3.1 atau template chat Ollama, khususnya terkait penanganan peran sistem ganda dan blok konteks panjang.