Decoding

• Model menghasilkan skor untuk banyak kandidat token berikutnya
• Decoding = proses memilih token dari kandidat tersebut
• Temperature — mengatur tingkat variasi
• Top-p — membatasi pilihan pada kandidat dengan probabilitas paling masuk akal
• Output bisa berbeda karena proses pemilihan token tidak selalu deterministik

"adalah"      42%
"merupakan"   30%
"bisa"        10%
"terjadi"      5%
...