Transformer
- Arsitektur utama di balik banyak LLM modern
- Memproses urutan token dengan mekanisme attention
- Attention membantu model menentukan token mana yang relevan untuk memahami token lain
- Model bisa menghubungkan kata yang berjauhan dalam satu konteks
Info
Untuk sekarang anggap attention sebagai cara model memberi bobot pada bagian konteks yang dianggap penting. Detail matriks query/key/value bisa dipelajari nanti kalau kalian ngoprek transformer sendiri.