Embedding
- Setelah tokenisasi, token diubah menjadi vektor angka
- Vektor ini disebut embedding
- Token atau kalimat dengan makna mirip → posisinya berdekatan di ruang vektor
- Embedding dipakai di model bahasa, juga di semantic search dan RAG
Info
Embedding bukan kamus arti kata. Ia representasi numerik yang dipelajari dari data. Konsep ini juga yang dipakai vector database di project RAG.