Große Sprachmodelle

Große Sprachmodelle (engl. Large Language Models (LLM)) sind fortschrittliche KI-Modelle, welche die Verarbeitung natürlicher Sprache revolutioniert haben. So sind Modelle wie z. B. Generative Pre-trained Transformer (GPT) in der Lage, menschenähnliche Texte zu verstehen und zu generieren. Hierfür werden sie gezielt auf großen Datenmengen trainiert. Darüber hinaus kommen Deep-Learning-Architekturen zum Einsatz, um komplexe Sprachmuster, semantische Beziehungen und Kontext zu erfassen.

Insbesondere die Transformer-Technologie ermöglicht es großen Sprachmodellen, weitreichende Abhängigkeiten und kontextuelle Beziehungen zwischen Wörtern in einer Textfolge zu erfassen. Dazu nutzen Transformer den sogenannten Self-Attention-Mechanismus. Dieser macht es ihnen möglich, jedem Wort in einem Satz eine unterschiedliche Gewichtung oder Bedeutung zuzuweisen – stets auf der Grundlage seiner Relevanz für andere Wörter [2].

Die eigentliche Besonderheit von großen Sprachmodellen liegt in ihrer Fähigkeit, kohärenten und kontextuell relevanten Text zu erzeugen. Ebenso zeichnen sie sich durch ein hohes Verständnis von Vokabular und Grammatik aus und zeigen sogar ein gewisses Maß an Kreativität. Durch ihre Generalität bieten sie große Potenziale für zahlreiche Anwendungen wie z. B. Chatbots, Text Mining oder digitale Assistenten (z. B. Alexa oder Siri). Beim sogenannten Natural Language Processing (NLP) handelt es sich um eine Sammlung von KI-Methoden, die es Computern ermöglichen, die natürliche Sprache des Menschen zu verstehen und entsprechend zu verarbeiten.

Große Sprachmodelle sind vor allem aufgrund ihrer Fähigkeiten zur Sprachverarbeitung von großer Bedeutung für die Steuerfunktion. Denn einerseits umfasst der Steuerbereich eine komplexe Terminologie mit einem besonderen juristischen Fachjargon. Andererseits existiert eine große Menge an Vorschriften und Richtlinien, die identifiziert und korrekt interpretiert werden müssen. Nur so lassen sich richtige Entscheidungen treffen. Im Folgenden werden drei Anwendungsfelder aus dem Steuerbereich skizziert, in denen Sprachmodelle zum Einsatz kommen können.

Die erfolgreiche Anwendung von großen Sprachmodellen im Steuerbereich erfordert ggf. ein Prompt-basiertes Tuning oder ein zusätzliches Fine-Tuning des Modells. Bei Ersterem wird das Modell nicht verändert, sondern sein zuvor trainiertes Wissen genutzt, indem spezifische Aufforderungen zur Steuerung des Antwortverhaltens verwendet werden. Im Gegensatz dazu befasst sich das Fine-Tuning mit einem erneuten Training des LLM auf einem spezifischen Datensatz, wodurch die Modellparameter geändert werden, um es auf den zugrundeliegenden Datensatz und die damit verbundene Aufgabe zu spezialisieren.

Große Sprachmodelle bieten ein beträchtliches Potenzial für den Steuerbereich. Dennoch ist es wichtig, auch deren Grenzen zu beachten, da auch gelegentlich falsche oder verzerrte Informationen erzeugt werden können. Unterscheiden sich im Laufe der Zeit zudem die Eingabe- von den Trainingsdaten, kann es zudem zu einem sog. model drift kommen. Ein Phänomen im Umfeld des maschinellen Lernens, das zu einer Verschlechterung der Genauigkeit des KI-Modells führen kann.

Dementsprechend wichtig ist die Sicherstellung einer hohen Datenqualität im Sinne sauberer, gut beschrifteter und repräsentativer Daten. Auch die Robustheit des Sprachmodells muss sichergestellt sein. Nicht zu vergessen die Komplexität, aufgrund derer sowohl das Training als auch die Ausführung erhebliche Rechenressourcen benötigen. In diesem Zusammenhang kann allein der fehlende Zugang zu leistungsstarker Hardware zur echten Herausforderung werden.

Ferner gibt es bei der Verwendung einiger generativen KI-Modelle berechtigte Bedenken, was das Eigentum an den Ergebnissen und dem geistigen Eigentum betrifft. Denn diese Art künstlicher Intelligenz ist in der Lage, aus bereits bestehenden Datensätzen neue Inhalte und Ideen zu erzeugen. Dementsprechend kritisch ist die Beurteilung hinsichtlich der Zuverlässigkeit der Trainingsdaten und des Urheberrechts bzw. der Quellenzuordnung. Die für das Training öffentlicher Modelle verwendeten Daten sind zwar umfangreich, basieren aber möglicherweise auf unvollständigem oder veraltetem Wissen. Dadurch lassen sich Fakten nicht immer exakt überprüfen bzw. müssen bei der Verwendung ggf. noch einmal kontrolliert oder recherchiert werden.

Des Weiteren stellt der Datenschutz einen weiteren wichtigen Aspekt dar. Diesen gilt es nicht nur im Rahmen des Modelltrainings, sondern auch bei der aus einer bestehenden Datenbasis gezogenen Schlussfolgerung (Inferenz) zu berücksichtigen. Werden beispielsweise große Sprachmodelle von externen Dienstleistern bezogen, müssen möglicherweise vertrauliche Daten (z. B. Kundendaten) mit diesem geteilt werden. Wie die Vertraulichkeit der Daten innerhalb der Modelle geschützt werden kann, ist allerdings eine noch offene Forschungsfrage. Aufgrund der probabilistischen Struktur muss man sich zudem bewusst sein, dass die Qualität der Vorhersagen je nach Eingabe variieren kann. Mögliche Gründe hierfür können u. a. die verwendeten Trainingsdaten, die Eingabestruktur oder unterschiedliche Parametereinstellungen bei der Nutzung der Modelle sein.