Kenapa token penting
- Context window dihitung dalam token
- Biaya API biasanya dihitung dari jumlah token input dan output
- Prompt panjang membawa lebih banyak konteks — tetapi instruksi utama bisa tenggelam
- Output dibangun token demi token, jawaban panjang butuh lebih banyak inferensi
Context window100%
System
Chat history
Dokumen
Prompt terbaru
Ruang jawaban
SystemChat historyDokumenPrompt terbaruRuang jawaban
Perhatian
Memasukkan seluruh dokumen panjang lalu bertanya sangat umum sering bikin fokus model melebar. Lebih baik beri petunjuk bagian mana yang harus dijawab.