Context window
- Batas jumlah token yang bisa dibaca model dalam satu permintaan
- Isinya: system instruction, percakapan sebelumnya, dokumen yang ditempel, dan prompt terbaru
- Jika konteks terlalu panjang, bagian lama bisa dipotong atau kurang berpengaruh
- Solusi praktis: ringkas konteks, beri struktur, dan ulangi batasan penting
Analogi meja kerja
Semakin banyak dokumen diletakkan di meja, semakin sulit mencari yang paling penting. Prompt yang rapi membantu model menemukan bagian yang relevan.