Transformatorji so model nevronske mreže, zasnovan za premagovanje omejitev ponavljajočih se nevronskih mrež pri analizi zaporedij podatkov (v našem primeru besed ali žetonov)¹.

Natančneje, transformatorji preko mehanizma samopozornosti omogočajo vzporedno analizo podatkovnih zaporedij in izločanje odvisnosti med elementi teh zaporedij in konteksti, v katerih se pojavljajo.

¹ Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.