I transformer sono un modello di rete neurale progettato per superare i limiti delle reti neurali ricorrenti nell’analisi delle sequenze di dati (nel nostro caso parole o token)¹.

Nello specifico i transformer, attraverso il meccanismo dell’autoattenzione, rendono possibile tracciare parallelismi tra le analisi delle sequenze dei dati e desumere dipendenze tra gli elementi di queste sequenze e i contesti in cui si presentano.

¹ Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.