Was sind Large Language Models (LLM)? Transformer-Architektur und mathematische Funktionsweise

Die technische Definition der Frage, was LLM ist, sind Deep-Learning-Modelle, die die statistische Struktur der Sprache aus großen Mengen von Textdaten lernen und in der Lage sind, neue Texte gemäß den gelernten Wahrscheinlichkeitsverteilungen zu generieren. LLM ist die Abkürzung für das englische Wort Large Language Model und wird im Deutschen als Großes Sprachmodell verwendet.

Ein LLM ist keine Software, die sich lediglich Wörter merkt. Während des Trainings repräsentiert es die Beziehungen zwischen Symbolen in sehr großen Textmengen durch mathematische Gewichte. Wenn der Benutzer eine Eingabeaufforderung sendet, zerlegt das Modell den gegebenen Kontext in kleinere Einheiten, die als Token bezeichnet werden, und berechnet eine Wahrscheinlichkeitsverteilung für das nächste Token. Der Generierungsprozess schreitet durch die aufeinanderfolgende Durchführung dieser Vorhersagen voran.

Daher bezeichnet LLM nicht das gesamte Ökosystem der künstlichen Intelligenz. Künstliche Intelligenz ist ein breiteres Konzept; sie umfasst viele Bereiche wie maschinelles Lernen, Computer Vision, Robotik, Spracherkennungssysteme und Sprachmodelle. LLM hingegen ist eine spezifische Klasse von Modellen, die für die Verarbeitung und Generierung natürlicher Sprache entwickelt wurden. Anders ausgedrückt, der Unterschied zwischen LLM und künstlicher Intelligenz besteht darin, dass das eine einen breiten Technologiebereich und das andere einen spezifischen Modellansatz innerhalb dieses Bereichs bezeichnet.

Was bedeuten die Abkürzung LLM und Großes Sprachmodell?

Die Abkürzung LLM steht für Large Language Model. Der Ausdruck „Large“ wird in einem technischen Rahmen bewertet, der nicht nur die Dateigröße des Modells, sondern auch den Umfang der Modellparameter, den Umfang der Trainingsdaten und die Rechenanforderungen umfasst.

Ein Großes Sprachmodell erstellt während des Trainings eine mathematische Struktur über die Syntax der Sprache, Wortbeziehungen, Kontext und verschiedene Wissensrepräsentationen, indem es Muster in Texten lernt. Im Modell können Millionen, Milliarden oder noch mehr Parameter vorhanden sein. Diese Parameter sind numerische Werte, die während des Trainingsprozesses aktualisiert werden.

Das Funktionsprinzip von LLM basiert auf probabilistischer Vorhersage. Vereinfacht ausgedrückt kann das Ziel des Modells wie folgt formuliert werden:

P(wₜ | w₁, w₂, ..., wₜ₋₁)

Dieser Ausdruck repräsentiert die Wahrscheinlichkeit des Auftretens des nächsten Symbols, wenn die vorherigen Symbole bekannt sind. Bei jedem Generierungsschritt erstellt das Modell eine Wahrscheinlichkeitsverteilung über die möglichen Token und bestimmt das nächste Token entsprechend der gewählten Methode.

Dieser Mechanismus bedeutet nicht, dass das LLM Texte bewusst „denkt“ wie ein Mensch. Der vom Modell durchgeführte Vorgang besteht darin, probabilistische Berechnungen anhand der während des Trainings gelernten Parameter und des vorhandenen Kontexts durchzuführen.

Die Beziehung zwischen LLM und künstlicher Intelligenz

Obwohl die Begriffe „LLM und künstliche Intelligenz“ im täglichen Sprachgebrauch manchmal austauschbar verwendet werden, sind sie technisch gesehen nicht dasselbe Konzept. Künstliche Intelligenz kann als Überbegriff betrachtet werden. LLM hingegen beschreibt Modelle innerhalb dieses Bereichs, die sich speziell auf die Verarbeitung und Generierung menschlicher Sprache konzentrieren.

Ein Bildklassifizierungssystem beispielsweise kann eine KI-Anwendung zur Erkennung von Objekten in Bildern sein, ist aber kein LLM. Im Gegensatz dazu können große Sprachmodelle, die Text generieren, zusammenfassen, Fragen beantworten, Code erzeugen oder Informationen mittels natürlicher Sprache verarbeiten, zur LLM-Klasse gehören.

Diese Unterscheidung beseitigt auch die grundlegende Begriffskonfusion, die bei Suchen nach Unterschied zwischen LLM und KI auftritt: Jedes LLM ist Teil eines Systems künstlicher Intelligenz; aber nicht jedes System künstlicher Intelligenz ist ein LLM.

Was sind LLM-Modelle?

LLM-Modelle können von verschiedenen Unternehmen, Forschungsteams und Open-Source-Communities mit unterschiedlichen Architekturen und Trainingsstrategien entwickelt werden. Namen wie die GPT-Familie, die Llama-Familie, Gemini und Claude sind häufig anzutreffende Beispiele im Ökosystem der großen Sprachmodelle.

Hier muss zwischen dem Modellnamen und der Anwendung unterschieden werden. Zum Beispiel ist eine Chat-Anwendung, mit der Benutzer direkt interagieren, nicht dasselbe wie das zugrunde liegende Sprachmodell, das im Hintergrund läuft. Die Beziehung zwischen LLM und ChatGPT lässt sich auch anhand dieser Unterscheidung verstehen: Während ChatGPT als KI-Produkt und Interaktionsschicht betrachtet wird, können die dahinter stehenden spezifischen Modellversionen die LLM-Technologie nutzen.

Bei der Untersuchung von Beispielen für große Sprachmodelle reicht es nicht aus, nur die Größe des Modells zu betrachten. Auch die Trainingsmethode, die Modellarchitektur, die Kontextkapazität, der Verwendungszweck, die Lizenzbedingungen, die Inferenzkosten und die Leistung bei bestimmten Aufgaben müssen bewertet werden.

Wie funktioniert LLM?

Die Antwort auf die Frage, wie LLM funktioniert, lässt sich in mehrere Grundphasen unterteilen: die Umwandlung von Text in Token, die Überführung der Token in numerische Repräsentationen, die Berechnung der Beziehungen im Kontext über die Transformer-Architektur und die probabilistische Vorhersage des nächsten Tokens.

Ein vom Benutzer eingegebener Satz wird nicht direkt Wort für Wort in das Modell übertragen. Zuerst wird der Prozess der Tokenisierung angewendet. Ein Tokenizer zerlegt den Text in kleinere Einheiten, abhängig vom Vokabular des Modells. Diese Einheiten können manchmal ein ganzes Wort, manchmal ein Teil eines Wortes oder manchmal ein Satzzeichen sein.

Die numerischen Identitäten der Token werden dann über Embedding-Schichten in hochdimensionale Vektor-Repräsentationen umgewandelt. Das Modell verarbeitet die Beziehungen innerhalb der Sprache über diese Vektoren.

An dieser Stelle kommt die Transformer-Architektur ins Spiel. Insbesondere der Self-Attention-Mechanismus hilft dem Modell, den aktuellen Kontext zu bewerten, indem er die Beziehungen zwischen den Token in einer Sequenz berechnet. So können die Beziehungen zwischen verschiedenen Teilen eines Satzes mathematisch dargestellt werden.

Die vom Modell erzeugte Ausgabe wird nicht direkt als „fertige Antwort“ aus einer Datenbank abgerufen. Die Generierung erfolgt auf der Grundlage der für die möglichen nächsten Token berechneten Verteilung in jedem Schritt. Aus diesem Grund kann dieselbe Eingabeaufforderung, abhängig vom verwendeten Modell und den Generierungsparametern, unterschiedliche Antworten liefern.

Wie wird ein LLM erstellt?

Die Antwort auf die Frage, wie ein LLM erstellt wird, bezieht sich auf einen mehrstufigen Trainingsprozess und nicht auf die Ausführung eines einzelnen Algorithmus. Für die Erstellung eines großformatigen Modells sind umfangreiche Datensätze, ein Tokenizer, eine Modellarchitektur, eine hohe Rechenkapazität und langwierige Trainingsprozesse erforderlich.

Im grundlegenden Prozess werden Textdaten vorbereitet, in Token zerlegt und in ein Format umgewandelt, das das Modell lernen kann. Anschließend durchläuft das Modell einen groß angelegten Pre-Training-Prozess, um Muster in der Sprache zu lernen. In späteren Phasen können Methoden wie Fine-Tuning, Supervised Fine-Tuning (SFT), RLHF oder DPO verwendet werden, um das Verhalten des Modells und die Qualität der Antworten bei bestimmten Aufgaben zu verbessern.

Daher lässt sich die Frage, wie LLM-Training durchgeführt wird, nicht allein durch das Laden von Daten und das Ausführen eines Modells erklären. Die Datenqualität, die Modellarchitektur, die Anzahl der Parameter, das Trainingsziel, die Hardware-Infrastruktur und der Verwendungszweck des Modells nach dem Training müssen gemeinsam bewertet werden.

Der eigentliche Wendepunkt für das Verständnis der LLM-Technologie liegt hier: Der grundlegende Mechanismus, der es dem Modell ermöglicht, Text zu erzeugen, ist die Fähigkeit der Transformer-Architektur, kontextuelle Beziehungen mathematisch zu verarbeiten. Diese Architektur und der Self-Attention-Mechanismus bilden die technische Grundlage der Funktionsweise großer Sprachmodelle.

Transformer-Architektur und Self-Attention-Mechanismus

Einer der wichtigsten Wendepunkte in Bezug auf die LLM-Architektur ist der Transformer-Ansatz. Die 2017 von Vaswani und seinen Kollegen veröffentlichte Arbeit „Attention Is All You Need“ stellte eine Architektur vor, die den Aufmerksamkeitsmechanismus in den Mittelpunkt der Verarbeitung sequenzieller Daten stellte. Dieser Ansatz war ein wichtiger Schritt zur Überwindung der sequenziellen Verarbeitungseinschränkungen der zuvor weit verbreiteten RNN- und LSTM-basierten Methoden.

Für ein Sprachmodell reicht es nicht aus, Wörter einzeln zu bewerten. Die Bedeutung eines Satzes hängt von der Beziehung der Wörter zueinander ab. Die Transformer-Architektur berechnet diese Beziehungen über den Self-Attention-Mechanismus mathematisch.

Warum waren RNN und LSTM nicht ausreichend?

In den Natural Language Processing Systemen vor dem Transformer spielten rekurrente neuronale Netze wie RNN und LSTM eine wichtige Rolle. Diese Modelle konnten Text sequenziell verarbeiten und Informationen aus früheren Schritten an nachfolgende Schritte weitergeben.

Dieser Ansatz hatte jedoch eine grundlegende Einschränkung: Die Reihenfolge der Verarbeitung war weitgehend voneinander abhängig. Bei langen Sequenzen konnte es schwierig werden, eine effektive Verbindung zwischen Informationen an früherer Position und späteren Informationen herzustellen.

Beispielsweise können in einem langen Satz viele Token zwischen dem Subjekt und dem Verb im späteren Teil des Satzes liegen. Je schwieriger es für das Modell wird, diese entfernten Beziehungen korrekt zu übertragen, desto schwächer kann die Kontextinformation werden.

Der Transformer-Ansatz wählte einen anderen Weg, indem er den Aufmerksamkeitsmechanismus in den Mittelpunkt stellte, der eine parallele Berechnung der Beziehungen in der gesamten Sequenz ermöglichte.

Was ist Self-Attention?

Self-Attention ist ein Mechanismus, der die Beziehung jedes Tokens in einer Sequenz zu anderen Token berechnet. Das „Self“ in diesem Kontext bedeutet, dass die Aufmerksamkeit zwischen Elementen innerhalb derselben Sequenz hergestellt wird.

Für jedes Token in einem Satz kann das Modell berechnen, wie relevant andere Token sind. So kann es die Bedeutung eines Wortes nicht nur anhand der unmittelbar benachbarten Wörter bewerten, sondern auch unter Einbeziehung von Informationen aus entfernteren Teilen des Satzes.

Die mathematische Grundlage des Self-Attention-Mechanismus umfasst drei verschiedene Repräsentationen:

• Query (Q): Repräsentiert, welche Information das aktuelle Token sucht.

• Key (K): Repräsentiert die Eigenschaften jedes Tokens, die mit der Query verglichen werden.

• Value (V): Trägt die Information, die als Ergebnis der Aufmerksamkeit übertragen wird.

Der grundlegende Aufmerksamkeitsvorgang wird durch folgende Gleichung ausgedrückt:

Attention(Q, K, V) = softmax(QKᵀ / √dₖ)V

Hier erzeugt die Matrixmultiplikation zwischen Q und K Ähnlichkeits- oder Beziehungswerte zwischen den Token. Diese Werte werden skaliert, durch die Softmax-Funktion in Gewichte umgewandelt und die Informationen in der V-Matrix werden mit diesen Gewichten kombiniert.

Durch diesen Mechanismus kann das Modell berechnen, welche Informationen im Kontext für das aktuelle Token eine größere Gewichtung haben.

Der Unterschied zwischen Tokenization und Embedding

Um die Funktionsweise von LLM auf technischer Ebene zu verstehen, ist es notwendig, die Konzepte der Tokenisierung und des Embeddings voneinander zu trennen.

Tokenisierung ist der Prozess, bei dem Text in Token zerlegt wird, die das Modell verarbeiten kann. Zum Beispiel kann ein einzelnes Wort ein Token sein; je nach verwendetem Tokenizer und Vokabular kann ein Wort jedoch auch in mehrere Teile zerlegt werden.

Embedding hingegen ist die Umwandlung dieser Token in mathematische Vektoren. Das Modell verarbeitet natürliche Sprache nicht direkt in der Form von Wörtern, wie der Mensch sie sieht. Token werden in numerische Repräsentationen umgewandelt, und das neuronale Netz führt Berechnungen an diesen Repräsentationen durch.

Diese Vektoren sind eine der grundlegenden Eingaben für das Modell, um Beziehungen innerhalb der Sprache zu lernen. Während der Parameteraktualisierung des Modells im Trainingsprozess können die Token-Repräsentationen die Verwendungsmuster in der Sprache effektiver widerspiegeln.

Warum ist Positional Encoding notwendig?

Der Self-Attention-Mechanismus kann Beziehungen zwischen Token berechnen; aber wenn man nur die Inhaltsrepräsentationen der Token betrachtet, muss die Positionsinformation in der Sequenz zusätzlich ausgedrückt werden.

In Sätzen wie „Ali sah Ayşe“ und „Ayşe sah Ali“ sind zwar dieselben Wörter enthalten, aber die Reihenfolge der Wörter ändert die Bedeutung. Damit das Modell diesen Unterschied verstehen kann, müssen die Positionen der Token in der Sequenz repräsentiert werden.

In der Transformer-Architektur wird dieses Problem über Positional Encoding oder allgemeiner über kontextuelle Informationsrepräsentationen gelöst. Dadurch kann das Modell nicht nur bewerten, was ein Token ist, sondern auch, an welcher Position in der Sequenz es sich befindet.

Wie die Positionsinformation dem Modell hinzugefügt wird, kann je nach verwendeter Architektur variieren. Im klassischen Transformer-Design wurde ein auf Sinus- und Kosinusfunktionen basierender Positional-Encoding-Ansatz verwendet. In späteren Sprachmodellarchitekturen wurden jedoch verschiedene Methoden zur positionsbezogenen Repräsentation entwickelt.

Wie funktioniert Multi-Head Attention?

Die Transformer-Architektur besteht nicht nur aus einer einzigen Aufmerksamkeitsberechnung. Multi-Head Attention ermöglicht es, mehrere Aufmerksamkeitsköpfe parallel laufen zu lassen.

Jeder Aufmerksamkeitskopf kann darauf trainiert werden, sich auf unterschiedliche Beziehungsmuster zwischen den Token zu konzentrieren. Ein Kopf könnte einer syntaktischen Beziehung Gewicht verleihen, während ein anderer Kopf eine andere semantische Verbindung stärker repräsentieren könnte.

Die Ausgaben der berechneten Köpfe werden kombiniert und an die nächsten Transformer-Schichten übergeben. So kann das Modell denselben Text aus verschiedenen Beziehungsperspektiven bewerten.

Diese Struktur zeigt, dass die LLM-Architektur kein einfaches System ist, das nur „Wörter vorhersagt“. Innerhalb des Modells arbeiten zahlreiche mathematische Transformationen, Gewichtsmatrizen und Schichten zusammen.

Die Geburt eines LLM: Trainingsphasen

Die Fähigkeiten eines LLM beruhen nicht allein auf seiner Architektur. Auch die Daten, mit denen das Modell trainiert wurde, und das Trainingsziel sind entscheidend für sein resultierendes Verhalten.

Pre-Training: Die Grundausbildung des Sprachmodells

Pre-Training ist die grundlegende Lernphase großer Sprachmodelle. Das Modell versucht, Sprachmuster aus sehr großen Textdatensätzen zu lernen.

In dieser Phase besteht die Hauptaufgabe des Modells für die meisten modernen autoregressiven LLMs darin, das nächste Token basierend auf den vorherigen Token vorherzusagen. Die Differenz zwischen der Vorhersage des Modells und dem tatsächlichen Token wird über eine Verlustfunktion berechnet, und die Parameter werden mittels Backpropagation aktualisiert.

Ein vereinfachter Ablauf könnte wie folgt aussehen:

Text → Tokenisierung → Embedding → Transformer-Schichten → Vorhersage des nächsten Tokens → Verlustberechnung → Parameteraktualisierung

Wenn dieser Prozess über eine sehr große Anzahl von Beispielen wiederholt wird, beginnt das Modell, die statistischen Strukturen der Sprache immer besser zu repräsentieren.

Was bedeuten Parameter?

In LLMs beziehen sich Parameter auf die numerischen Werte, die während des Trainings gelernt werden. Die Gewichte des Modells und die Bias-Werte in einigen Architekturen sind die grundlegenden mathematischen Komponenten, die bestimmen, wie Eingaben transformiert werden.

Eine Zunahme der Parameteranzahl allein garantiert nicht, dass ein Modell bei jeder Aufgabe erfolgreicher sein wird. Auch die Datenqualität, die Trainingsmethode, die Modellarchitektur, das Rechenbudget und die Inferenzstrategien beeinflussen die Leistung.

Daher ist der Ansatz „das größte Modell ist das beste Modell“ technisch nicht ausreichend.

Fine-Tuning und SFT

Nach dem Pre-Training kann Fine-Tuning angewendet werden, um das Modell für bestimmte Aufgaben kontrollierter agieren zu lassen.

In der Supervised Fine-Tuning (SFT)-Phase werden dem Modell bestimmte Eingaben und die dazu erwarteten Ausgaben präsentiert. Das Modell wird anhand dieser Beispiele neu trainiert, um sich an das definierte Verhaltensmuster anzupassen.

Zum Beispiel kann angestrebt werden, dass ein Modell technische Dokumentation erstellt, in einem bestimmten Format antwortet oder sich besser an einen bestimmten Aufgabenbereich anpasst.

Dieser Prozess ist nicht dasselbe wie die Neuerstellung eines LLM von Grund auf. Fine-Tuning konzentriert sich darauf, die Parameter eines bestehenden Modells für einen bestimmten Zweck zu ändern.

RLHF und DPO

Dass ein Sprachmodell lediglich korrekte Token vorhersagt, bedeutet nicht, dass es den Benutzererwartungen entsprechende Antworten liefert. Es wurden Methoden entwickelt, die menschliche Bewertungen nutzen, um sicherzustellen, dass die Antworten nützlich, sicher und im bevorzugten Format sind.

RLHF (Reinforcement Learning from Human Feedback) ist einer der Ansätze, der darauf abzielt, das Modellverhalten durch menschliches Feedback zu verbessern. Vom Menschen bewertete Antworten können ein Signal dafür erzeugen, welche Art von Ausgaben das Modell bevorzugen sollte.

DPO (Direct Preference Optimization) ist eine Methode, die Präferenzdaten verwendet, um die Tendenz des Modells, bevorzugte Antworten zu erzeugen, direkt zu optimieren.

Es ist wichtig, diese Trainingsphasen voneinander zu unterscheiden:

Wie lernen Sprachmodelle?

Sprachmodelle lernen nicht wie Menschen durch Studieren. Während des Trainings werden die Parameter des Modells mithilfe mathematischer Optimierungsmethoden aktualisiert, um den Vorhersagefehler zu reduzieren.

Das Modell trifft eine Vorhersage darüber, welches Token nach einem gegebenen Token kommen sollte. Die Differenz zwischen den realen Daten und der Vorhersage wird mit einer Verlustfunktion gemessen. Anschließend werden Gradienten berechnet, um zu bestimmen, in welche Richtung die Parameter geändert werden müssen.

Bei einem Modell mit Milliarden von Parametern kann dieser Prozess sehr große Rechenressourcen erfordern. Wenn das Training abgeschlossen ist, wird das Modell zu einem neuronalen Netz, das die Muster in den Trainingsdaten verteilt in seinen Parametern repräsentiert.

Dieser Mechanismus deckt einen der wichtigsten Unterschiede in Bezug auf die LLM-Technologie auf: Es muss im Modell keine „Antwortdatenbank“ im herkömmlichen Sinne vorhanden sein, aus der Antworten abgerufen werden. Die Generierung erfolgt über gelernte Parameter und den gegebenen Kontext.

Anwendungsbereiche von LLMs

Die Anwendungsbereiche von LLMs beschränken sich nicht nur auf Chat-Anwendungen. Sie können in einer Vielzahl von Aufgaben eingesetzt werden, wie z.B. Texterstellung, Zusammenfassungen, Übersetzungen, Klassifizierungen, Informationsgewinnung, Code-Generierung, Dokumentenanalyse und Kundenservice.

Eine LLM-basierte Anwendung kann umfassender sein als die alleinige Verwendung des Basismodells. Die Anwendung kann Datenbanken, APIs, Suchsysteme, RAG-Komponenten, Sicherheitsebenen und spezielle Geschäftsregeln enthalten.

Ein System, das beispielsweise im Rechtsbereich eingesetzt wird, kann ein Sprachmodell verwenden, das durch Gesetzestexte und Rechtsprechungsdokumente unterstützt wird. Das Konzept, das bei Suchanfragen wie „LLM Anwalt was ist das“ auftaucht, bezieht sich in der Regel auch auf solche rechtsorientierten KI-Anwendungen; das LLM selbst ist rechtlich kein Anwalt.

Wo werden LLMs eingesetzt?

• Inhalts- und Texterstellung

• Code schreiben und Code erklären

• Dokumentenzusammenfassung

• Kundensupportsysteme

• Textklassifikation

• Informationsextraktion

• Such- und Frage-Antwort-Systeme

• Bildungsanwendungen

• Assistenzsysteme für Fachgebiete wie Recht und Finanzen

Der Erfolg dieser Anwendungsbereiche hängt nicht nur vom gewählten Modell ab. Auch die Datenqualität, das Prompt-Design, das Kontextmanagement, die Validierungsmechanismen und die Anwendungsarchitektur sind entscheidend.

Wie wird LLM verwendet?

Die Antwort auf die Frage, wie LLM verwendet wird, hängt vom Verwendungszweck ab. Bei einer einfachen Nutzung sendet der Benutzer eine Anfrage direkt über eine Chat-Oberfläche. In fortgeschritteneren Anwendungen kann das Modell über eine API mit einer Software verbunden werden.

Beispielsweise kann eine Unternehmensanwendung die Frage des Benutzers zuerst klassifizieren, relevante Dokumente finden, diese dem Modell als Kontext übergeben und die generierte Antwort durch eine Validierungsschicht leiten.

Hier kommt auch Prompt Engineering ins Spiel. Ein gut gestalteter Prompt kann dem Modell helfen, die Aufgabe, den Kontext, das Ausgabeformat und die Einschränkungen klarer zu verstehen.

Der Umfang der Frage, was mit LLM alles gemacht werden kann, ist daher nicht nur auf das Schreiben von Texten beschränkt. Das Modell kann auch als Sprachverarbeitungsschicht einer größeren Softwarearchitektur fungieren.

Technische Grenzen von LLMs

Obwohl LLMs über starke Fähigkeiten zur Spracherzeugung verfügen, sind sie keine fehlerfreien Informationsmaschinen. Die probabilistische Arbeitsweise des Modells kann in einigen Fällen dazu führen, dass es unwahre oder zu überprüfende Antworten generiert.

Dieses Problem wird als Halluzination bezeichnet. Das Modell kann eine Information, Quelle oder Erklärung generieren, die sprachlich überzeugend erscheint, aber in Wirklichkeit falsch ist.

Die Grenzen des Kontextfensters stellen eine weitere technische Einschränkung dar. Die Menge der Token, die das Modell in einem einzigen Vorgang bewerten kann, variiert je nach verwendeter Architektur und Modellversion. Bei sehr langen Dokumenten kann die Auswahl der in den Kontext einbezogenen Informationen die Qualität der Modellantwort direkt beeinflussen.

An dieser Stelle können Architekturen wie RAG dem Modell helfen, relevante Inhalte aus externen Informationsquellen abzurufen und Antworten zu generieren. Fine-Tuning löst ein anderes Problem; es zielt darauf ab, das Verhalten des Modells oder seine Fähigkeit bei bestimmten Aufgaben zu ändern.

Der grundlegende Unterschied zwischen LLM, RAG und Fine-Tuning

RAG und Fine-Tuning sind keine direkten Alternativen zueinander. Sie können in einer Anwendung auch zusammen verwendet werden. RAG befasst sich mit dem Problem des Zugriffs auf externe Informationen, während Fine-Tuning sich auf das Verhalten des Modells oder seine Fähigkeit bei bestimmten Aufgaben konzentrieren kann.