Manuel Gentile and Fabrizio Falchi
Transformatorji so model nevronske mreže, zasnovan za premagovanje omejitev ponavljajočih se nevronskih mrež pri analizi zaporedij podatkov (v našem primeru besed ali žetonov)1.
Natančneje, transformatorji preko mehanizma samopozornosti omogočajo vzporedno analizo podatkovnih zaporedij in izločanje odvisnosti med elementi teh zaporedij in konteksti, v katerih se pojavljajo.
1 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.
