{"id":244,"date":"2023-11-30T17:01:43","date_gmt":"2023-11-30T17:01:43","guid":{"rendered":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/transformers\/"},"modified":"2024-01-31T11:44:40","modified_gmt":"2024-01-31T11:44:40","slug":"transformers","status":"publish","type":"chapter","link":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/chapter\/transformers\/","title":{"raw":"Transformer","rendered":"Transformer"},"content":{"raw":"<p class=\"no-indent\">Bei Transformern handelt es sich um neuronale Netzmodelle, die entwickelt wurde, um die Beschr\u00e4nkungen rekurrenter neuronaler Netze bei der Analyse von Datensequenzen (in unserem Fall von W\u00f6rtern oder Token) zu \u00fcberwinden<sup>1<\/sup>.<\/p>\n<p class=\"indent\">Insbesondere erm\u00f6glichen Transformer durch den Mechanismus der Selbst-Aufmerksamkeit die parallele Analyse von Datensequenzen und die Extraktion der Abh\u00e4ngigkeiten zwischen den Elementen dieser Sequenzen und den Kontexten, in denen sie auftreten.<\/p>\n\n\n<hr>\n<p class=\"hanging-indent\" style=\"text-align: left\"><sup>1\u00a0<\/sup>Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... &amp; Polosukhin, I., <em>Attention is all you need<\/em>, Advances in neural information processing systems, 30, 2017.<\/p>","rendered":"<p class=\"no-indent\">Bei Transformern handelt es sich um neuronale Netzmodelle, die entwickelt wurde, um die Beschr\u00e4nkungen rekurrenter neuronaler Netze bei der Analyse von Datensequenzen (in unserem Fall von W\u00f6rtern oder Token) zu \u00fcberwinden<sup>1<\/sup>.<\/p>\n<p class=\"indent\">Insbesondere erm\u00f6glichen Transformer durch den Mechanismus der Selbst-Aufmerksamkeit die parallele Analyse von Datensequenzen und die Extraktion der Abh\u00e4ngigkeiten zwischen den Elementen dieser Sequenzen und den Kontexten, in denen sie auftreten.<\/p>\n<hr \/>\n<p class=\"hanging-indent\" style=\"text-align: left\"><sup>1\u00a0<\/sup>Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., &#8230; &amp; Polosukhin, I., <em>Attention is all you need<\/em>, Advances in neural information processing systems, 30, 2017.<\/p>\n","protected":false},"author":1,"menu_order":16,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":["manuel-gentile","fabrizio-falchi"],"pb_section_license":""},"chapter-type":[49],"contributor":[71,63],"license":[],"part":205,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/244"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/244\/revisions"}],"predecessor-version":[{"id":245,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/244\/revisions\/245"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/parts\/205"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapters\/244\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/media?parent=244"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/pressbooks\/v2\/chapter-type?post=244"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/contributor?post=244"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/aifurlehrer\/wp-json\/wp\/v2\/license?post=244"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}