Die gro\u00dfe Popularit\u00e4t, die die neuesten Dialogsysteme mit nat\u00fcrlicher Sprache (wie ChatGPT, Bard und LLAMa2-chat), die Large Language Models verwenden, in kurzer Zeit erlangt haben, hat zu hitzigen Debatten gef\u00fchrt, die in mehreren Punkten noch offen sind. Es ist zweifellos faszinierend zu hinterfragen, wie ein Computersystem, das von relativ einfachen mathematischen Gleichungen gesteuert wird, in der Lage ist, ein Verhalten zu erzeugen, das viele als \u201eintelligent\" bezeichnen<\/p>\n
In diesem Kapitel soll jedoch nicht versucht werden, Antworten auf Fragen wie \u201eZeigen LLM-Modelle ein Verhalten, das wir als intelligent bezeichnen k\u00f6nnen?\", \u201eWas ist die wahre Natur der menschlichen Intelligenz?\", \u201eWie k\u00f6nnen wir Kreativit\u00e4t definieren?\"<\/em> und andere \u00e4hnliche Fragen von gewissem Interesse zu geben, die derzeit und vielleicht f\u00fcr lange Zeit noch unbeantwortet sind und daher eine viel eingehendere Untersuchung erfordern w\u00fcrden.<\/p>\n Stattdessen werden wir versuchen, einen \u00dcberblick zu geben, der auch f\u00fcr Nicht-Experten zug\u00e4nglich ist, um das Verst\u00e4ndnis f\u00fcr die Mechanismen zu f\u00f6rdern, die der Funktionsweise gro\u00df angelegter Language Models zugrunde liegen. Nur durch ein gr\u00f6\u00dferes Bewusstsein f\u00fcr diese Mechanismen ist es m\u00f6glich, ihr Potenzial und ihre Risiken zu verstehen und ihre richtige Verwendung, insbesondere im Bildungswesen, zu f\u00f6rdern.<\/p>\n Ein erster und sehr weit verbreiteter Irrglaube, den es auszur\u00e4umen gilt, ist der, dass es sich bei solchen Systemen im Grunde um gro\u00dfe Datenbanken handelt, die aus Frage-Antwort-Paaren bestehen. Diese Vorstellung, die nicht der Realit\u00e4t entspricht, leitet sich aus den mehr oder weniger g\u00e4ngigen Praktiken ab, die sich im Laufe der Jahre f\u00fcr die Erstellung von Chatbot-Systemen etabliert haben (wir laden Sie ein, das entsprechende Kapitel zu lesen). Zugleich wird diese Vorstellung dem generativen Charakter des LLM nicht gerecht.<\/p>\n Language Models sind statistische Modelle, die in der Lage sind, einem Textteil (in der Regel einem Wort) eine Eintrittswahrscheinlichkeit innerhalb eines bestimmten Zusammenhangs zuzuweisen, der in der Regel definiert wird durch die dem erwarteten Wort vorausgehenden Satz von W\u00f6rtern.<\/p>\n Zu den Modellen, die auf einem rein statistischen Ansatz beruhen (z. B. Markov-Ketten, auch N-Gramm-Modelle genannt), sind im Laufe der Zeit Sprachmodelle hinzugekommen, die auf neuronalen Netzwerken1<\/sup> basieren. Diese haben sich sowohl hinsichtlich der Netzwerkstruktur als auch hinsichtlich der Netzwerkgr\u00f6\u00dfe weiterentwickelt.<\/p>\n Heute bezeichnen wir als Large Language Modls (LLMs) genau diese Art von Sprachmodellen, die auf gro\u00dfen neuronalen Netzwerken basieren, die anhand von riesigen Datenmengen trainiert wurden.<\/p>\n \n\nhttps:\/\/youtu.be\/z73WRNmeY3o?list=PLkm8ZqYSzE3eM28LL0BJylUFuVedLE3Uy\n Daher beginnen wir unsere Untersuchung mit der Behauptung, dass Sprachmodelle Texte generieren, anstatt sie einfach aus einer vorgegebenen Wissensdatenbank abzurufen.<\/p>\n Der generative Aspekt und seine im Wesentlichen fachlich-intuitive Natur machen es unvorhersehbar, wie LLM-Systeme auf Nutzereingaben reagieren k\u00f6nnten Diese Eigenschaft erzeugt daher ein h\u00e4ufiges Misstrauen gegen\u00fcber solchen Systemen in Bezug auf ihre potenzielle F\u00e4higkeit, falsche oder ungenaue Texte zu erzeugen.<\/p>\n Daher stellt diese Eigenschaft eine gro\u00dfe technologische Errungenschaft in Bezug auf die F\u00e4higkeit einer Maschine, Text zu verstehen und zu produzieren, als auch gleichzeitig eine der Hauptgefahren solcher Technologien dar.<\/p>\n Wir wollen jedoch versuchen, solche Systeme zu erikunden.<\/p>\n Wie bei jeder technologischen Revolution stehen hinter diesem Durchbruch viele Faktoren. Zur Vereinfachung nennen wir hier die wichtigsten und geben den Leserinnen und Lesern Hinweise, die sie bei einer sp\u00e4teren eingehenden Untersuchung als Anhaltspunkte dienen k\u00f6nnen:<\/p>\n\n Da wir uns der verschiedenen Faktoren, die LLM auszeichnen, bewusst sind, m\u00fcssen wir an dieser Stelle nur noch das Potenzial solcher Systeme erkunden, indem wir sie in unserem Bildungskontext auf die Probe stellen. Versuchen Sie also, mit ChatGPT oder Bard zu sprechen, um uns zu helfen, neue \u00dcbungen zu erstellen und sie an die spezifischen Bed\u00fcrfnisse unserer Sch\u00fcler anzupassen, neue Unterrichtsstunden mit verwandten Inhalten zu erstellen und vieles mehr. Es h\u00e4ngt alles von Ihrer Kreativit\u00e4t ab und davon, wie Sie lernen, mit solchen Systemen zu kommunizieren.<\/p>\n Hinweis:<\/strong> Jeder dieser Faktoren bedarf einer ausf\u00fchrlichen Erl\u00e4uterung. F\u00fcr Interessierte stellen wir ein Literaturverzeichnis zur Verf\u00fcgung.<\/p>\n\n\n 1 <\/sup>Bengio, Y., Ducharme, R., & Vincent, P., A neural probabilistic language model. Advances in neural information processing systems, 13, 2000.<\/p>\n 2<\/sup> Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I., Attention is all you need,<\/em> Advances in neural information processing systems, 30, 2017.<\/p>","rendered":" Die gro\u00dfe Popularit\u00e4t, die die neuesten Dialogsysteme mit nat\u00fcrlicher Sprache (wie ChatGPT, Bard und LLAMa2-chat), die Large Language Models verwenden, in kurzer Zeit erlangt haben, hat zu hitzigen Debatten gef\u00fchrt, die in mehreren Punkten noch offen sind. Es ist zweifellos faszinierend zu hinterfragen, wie ein Computersystem, das von relativ einfachen mathematischen Gleichungen gesteuert wird, in der Lage ist, ein Verhalten zu erzeugen, das viele als \u201eintelligent” bezeichnen<\/p>\n In diesem Kapitel soll jedoch nicht versucht werden, Antworten auf Fragen wie \u201eZeigen LLM-Modelle ein Verhalten, das wir als intelligent bezeichnen k\u00f6nnen?”, \u201eWas ist die wahre Natur der menschlichen Intelligenz?”, \u201eWie k\u00f6nnen wir Kreativit\u00e4t definieren?”<\/em> und andere \u00e4hnliche Fragen von gewissem Interesse zu geben, die derzeit und vielleicht f\u00fcr lange Zeit noch unbeantwortet sind und daher eine viel eingehendere Untersuchung erfordern w\u00fcrden.<\/p>\n Stattdessen werden wir versuchen, einen \u00dcberblick zu geben, der auch f\u00fcr Nicht-Experten zug\u00e4nglich ist, um das Verst\u00e4ndnis f\u00fcr die Mechanismen zu f\u00f6rdern, die der Funktionsweise gro\u00df angelegter Language Models zugrunde liegen. Nur durch ein gr\u00f6\u00dferes Bewusstsein f\u00fcr diese Mechanismen ist es m\u00f6glich, ihr Potenzial und ihre Risiken zu verstehen und ihre richtige Verwendung, insbesondere im Bildungswesen, zu f\u00f6rdern.<\/p>\n Ein erster und sehr weit verbreiteter Irrglaube, den es auszur\u00e4umen gilt, ist der, dass es sich bei solchen Systemen im Grunde um gro\u00dfe Datenbanken handelt, die aus Frage-Antwort-Paaren bestehen. Diese Vorstellung, die nicht der Realit\u00e4t entspricht, leitet sich aus den mehr oder weniger g\u00e4ngigen Praktiken ab, die sich im Laufe der Jahre f\u00fcr die Erstellung von Chatbot-Systemen etabliert haben (wir laden Sie ein, das entsprechende Kapitel zu lesen). Zugleich wird diese Vorstellung dem generativen Charakter des LLM nicht gerecht.<\/p>\n Language Models sind statistische Modelle, die in der Lage sind, einem Textteil (in der Regel einem Wort) eine Eintrittswahrscheinlichkeit innerhalb eines bestimmten Zusammenhangs zuzuweisen, der in der Regel definiert wird durch die dem erwarteten Wort vorausgehenden Satz von W\u00f6rtern.<\/p>\n Zu den Modellen, die auf einem rein statistischen Ansatz beruhen (z. B. Markov-Ketten, auch N-Gramm-Modelle genannt), sind im Laufe der Zeit Sprachmodelle hinzugekommen, die auf neuronalen Netzwerken1<\/sup> basieren. Diese haben sich sowohl hinsichtlich der Netzwerkstruktur als auch hinsichtlich der Netzwerkgr\u00f6\u00dfe weiterentwickelt.<\/p>\n Heute bezeichnen wir als Large Language Modls (LLMs) genau diese Art von Sprachmodellen, die auf gro\u00dfen neuronalen Netzwerken basieren, die anhand von riesigen Datenmengen trainiert wurden.<\/p>\n <\/p>\n\n \t
\n