トランスフォーマー
トランスフォーマーは、データシーケンス（この場合、単語やトークン）の分析における循環ニューラルネットワークの限界を克服するために設計されたニューラルネットワークモデルです1。
具体的には、トランスフォーマーはセルフアテンション機構を通じて、データシーケンスの分析を並列化し、これらのシーケンスの要素とそれらが現れる文脈との間の依存関係を抽出することを可能にします。
1 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.
