Kombination großer Sprachmodelle mit Wissensgraphen

Wie bereits in den vorherigen Abschnitten dargelegt, stellt die Extraktion von Informationen aus steuerlichen Dokumenten einen Anwendungsfall für die Nutzung von generativer KI in der Steuerfunktion dar. Allerdings sind bei der Anwendung großer Sprachmodelle im Allgemeinen und insbesondere auch im Steuerbereich große Herausforderungen verbunden:

Es ist sicherzustellen, dass das Modell stets auf Grundlage der aktuellen Gesetzgebung antwortet. Hierfür müssen die KI-Modelle fortlaufend mit neuen Daten angereichert und veraltete Quellen aus der Datengrundlage entfernt werden [51-54]. Des Weiteren besteht die Gefahr, dass KI-Modelle aufgrund fehlender Daten falsche Informationen ausgeben (siehe Halluzination). Ein weiteres Problem können zudem viel zu allgemeine Antworten auf fachspezifische Fragen darstellen. Nicht zu vergessen ist die Gewährleistung einer hinreichenden Nachvollziehbarkeit der KI-Modelle, damit diese in der täglichen Arbeit der Steuerfunktion möglichst effektiv zum Einsatz kommen können.

Um diese Probleme zu vermeiden, sind in der Forschung seit Jahrzehnten Ansätze zur expliziten Wissensrepräsentation entwickelt worden. Wissensgraphen, Entscheidungsbäume, Datenbanken und andere Formen der expliziten Wissensrepräsentation sind insbesondere auch bereits vielfältig im Steuerbereich zum Einsatz gekommen (siehe beispielsweise die DFKI-WTS-KI-Innovationsstudie aus dem Jahr 2017). Eine besondere Herausforderung besteht gerade darin, diese Ansätze mit großen Sprachmodellen zu kombinieren, also hybride Systeme zu entwickeln. In einem hybriden System werden symbolische und sub-symbolische Verfahren zur Wissensrepräsentation kombiniert. Man spricht auch von sogenannten neuro-expliziten Methoden.

Ein möglicher Weg zur Entwicklung hybrider Systeme ist es, dem Modell zunächst Hierarchien und Beziehungen innerhalb der zugrundeliegenden Daten zu vermitteln. Zum Beispiel muss ein KI-Modell bei der Beurteilung steuerlicher Sachverhalte stets dazu in der Lage sein, bestehende Regelungshierarchien konsequent einzuhalten. Dementsprechend muss es lernen, Sachverhalte zuerst auf Basis von Gesetzen zu prüfen. Anschließend gilt es, die gesamten Inhalte mit nachrangigen Quellen wie bspw. aktuellen Urteilen oder Stellungnahmen erneut zu beleuchten.

Einigen der oben genannten Herausforderungen kann mit einem sogenannten Retrieval-Augmented-Generation-Ansatz begegnet werden[55], [56]. Dabei wird zur Verbesserung der Ausgabe eines KI-Modells eine weitere externe Datenbasis zur Verfügung gestellt, zusätzlich zu den bereits vorhandenen Trainingsdaten. Auf diese Weise wird das allgemeine Wissen des Modells um fachspezifisches Know-how ergänzt.

Dadurch ist es großen Sprachmodelle möglich, noch vor der Generierung einer Ausgabe auf eben diese externe Ressource zuzugreifen und eine qualitativ hochwertigere Antwort zu liefern. Gegenüber der alleinigen Verwendung eines großen Sprachmodells bietet diese Methode also bereits einige Vorteile. Vor allem im Hinblick auf die Tatsache, dass die Verwendung einer externen Datenquelle den Wissenstand der KI-Modelle kontinuierlich und vor allem kostengünstig mit Fachwissen erweitert – und dieses Wissen auch fortlaufend auf dem neuesten Stand hält.

Die Mehrheit moderner Chatbots greift über eine API auf vortrainierte Sprachmodelle zurück, deren Wissen implizit in deren angelernten Parametern verankert ist. Eine direkte Erweiterung dieser Grundlagen durch aktuelles fach- und unternehmensspezifisches Wissen mit Hilfe eines erneuten Trainings ist zumeist sehr aufwendig und kostenintensiv. Die Verwendung einer externen Datenquelle bietet hier eine praktikable Alternative und bietet Entwicklern eine zusätzliche Kontrolle darüber, welche Daten in das Modell gelangen. Dies hat wiederum zur Folge, dass das Vertrauen in die Sprachmodelle innerhalb einer Organisation gesteigert werden kann[56].

Aus diesen Gründen liefert die Nutzung eines RAG-Ansatzes in Verbindung mit einem Wissensgraph (engl. Knowledge Graphs (KG)) als externe Datenquelle eine vielversprechende Lösung[57]. Denn dieser erweiterte Ansatz vereint nicht nur die bisher genannten Vorteile. Zusätzlich begegnet er auch der Herausforderung, die jeweiligen Dokumentenhierarchien und Beziehungen zu vermitteln und die Nachvollziehbarkeit der Modelle zu verbessern. Ein Wissensgraph ist eine Datenstruktur, mit der sich Informationen in graphischer Form abbilden und verwandte Daten durch verbundene Entitäten repräsentieren lassen[58]. Die Informationen werden dabei als Triple gespeichert: head entity, relation und tail entity. Ein einfaches Beispiel für solch einen Wissengraphen ist in folgender Abbildung gegeben.

Eine Untergruppe von allgemeinen KGs bilden die sogenannten „Domain-specific Knowledge Graphs“, welche es ermöglichen, domänenspezifisches Wissen wiederzugeben [59], [60]. Im Vergleich zu allgemeinen Wissensgraphen sind diese zwar kleiner, liefern aber verlässlichere und exaktere Informationen. KGs können fortlaufend erweitert und aktualisiert werden. Zudem macht es ihr einfacher logischer Aufbau möglich, wertvolle Schlussfolgerungen zu ziehen und interpretierbare Ergebnisse zu liefern[61].

Indem sich Informationen innerhalb eines KGs ins Verhältnis setzen lassen, eröffnet sich ein weiterer Lösungsansatz für die bereits zuvor erwähnte Problematik der Berücksichtigung von Dokumentenhierarchien, was die Beurteilung von steuerlichen Sachverhalten durch generative Sprachmodelle betrifft. All diese Punkte machen es naheliegend, bei Verwendung eines RAG-Ansatzes zur Implementierung eines Steuer-Chatbots auf einen „Domain-specific Knowledge Graph“ als externe Datenquelle zurückzugreifen.

Die Verbindung aus großen Sprachmodellen und KG komplementiert dabei die Schwächen des jeweils anderen Modells, wodurch wiederum ein leistungsfähiges Gesamtmodell entsteht. Im Vergleich zu Sprachmodellen fehlt es KG an der Fähigkeit, natürliche Sprache zu verarbeiten und auf ein großes Allgemeinwissen zurückzugreifen. Demgegenüber schneiden Wissensgraphen gegenüber Sprachmodellen besser bei der akkuraten Wiedergabe von spezifischem, strukturiertem Wissen sowie bei der Interpretierbarkeit ab[58].

Die Nutzung eines KG ist im Vergleich zu normalen Retrieval-Techniken mit einem zusätzlichen Mehraufwand verbunden. Darüber hinaus sind tiefergehende Kenntnisse über den eigentlichen Inhalt und die Struktur erforderlich. Aus diesem Grund ist eine enge Zusammenarbeit zwischen Entwicklungsteams und steuerlicher Expertise nicht nur wünschenswert - vielmehr bildet diese die nötige Basis für eine Implementierung von KG, um das volle Potenzial dieses Ansatzes ausschöpfen zu können.

Klassische RAG-Ansätze gehören schon heute fest zum Fundament sprachmodellbasierter wissensbasierter Systeme. Dabei zeigt sich deutlich, dass die Zugabe weiterer Fachinformationen die Genauigkeit und Qualität der Antworten deutlich steigern kann. Das trifft insbesondere auf Informationen zu, die aus zeitlicher oder fachspezifischer Sicht nicht Teil des Weltwissens sein können, mit dem das Grundlagenmodell ursprünglich trainiert wurde.

Im unten angefügten Bildausschnitt werden bspw. Informationen aus dem amtlichen Lohnsteuerhandbuch 2023 durch ein RAG-System extrahiert. Dabei wurde insbesondere nach der Besteuerung von Künstlern gefragt, also eines sehr speziellen Teilbereiches. Die Antwort enthält dabei sowohl das im Lohnsteuerhandbuch enthaltene Detailwissen als auch Quellenangaben zu den entsprechenden Abschnitten.

Inwiefern eine Weiterentwicklung des Systems mit Hilfe von KG eine zusätzliche, substanzielle Verbesserung der Antworten liefert, hängt immer auch vom konkreten Anwendungsfall ab. Es ist jedoch davon auszugehen, dass sachbezogene Beziehungen und Hierarchien zwischen Dokumenten kontextbewusst verarbeitet werden können. Dadurch können sie insbesondere für den Steuerbereich eine interessante Weiterentwicklung des RAG-Systems darstellen.