61 Transformadores
Los transformadores son un modelo de red neuronal diseñado para superar las limitaciones de las redes neuronales recurrentes en el análisis de secuencias de datos (en nuestro caso, palabras o tokens)1.
Específicamente, los transformadores, a través del mecanismo de autoatención, permiten paralelizar el análisis de secuencias de datos y extraer las dependencias entre los elementos de estas secuencias y los contextos en los que se producen.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. https://papers.nips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
