Attention — contoh sederhana
Kalimat
Ayu membawa buku ke kelas karena ia akan presentasi.
Pertanyaan
Siapa yang akan presentasi?
Info
Pada model besar, attention terjadi di banyak layer dan banyak head sekaligus. Polanya jauh lebih kompleks dari satu panah seperti ini, tapi intuisinya tetap sama: bobot pada token yang membantu menjawab.