变换器网络(Transformer)
Fabrizio Falchi 和 Manuel Gentile
Transformer是一种神经网络模型,旨在解决循环神经网络在分析数据序列(例如单词或词元)时遇到的限制1。具体来说,Transformer 模型采用了“自注意力”机制,使得可以并行地分析数据序列,同时提取这些序列中元素与其上下文之间的依赖关系。
1 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I., Attention is all you need, Advances in neural information processing systems, 30, 2017.