Una parola non viene letta da sola: viene interpretata nel contesto.
Esplora una simulazione guidata della self-attention. I pesi sono costruiti a scopo didattico: servono a capire il meccanismo, non sono valori estratti da un modello reale.
Segui i passaggi nell’ordine: dal token alla rappresentazione contestualizzata.
Hai 10 esempi, anche scientifici, pensati per mostrare relazioni diverse.
Quel token produce una Query: “quali informazioni del contesto mi sono utili?”.
Ogni testa simulata mette in evidenza una relazione diversa: sintassi, riferimenti, semantica, posizione.
Le Key vengono confrontate con la Query; le Value vengono combinate usando i pesi risultanti.
Verifica se sai interpretare una relazione di attenzione senza confonderla con una “spiegazione del pensiero”.
Quali parole pesano di più per questo token?
Ogni riga parte da una Query; ogni colonna rappresenta una Key. I numeri indicano il peso percentuale assegnato in questa testa.