Umsatzsteuerliche Klassifizierung von Leistungsbeschreibungen von Rechnungen

Nach § 14 Abs. 4 Satz 1 Nr. 5 UStG muss eine Rechnung zur Berechtigung des Vorsteuerabzugs eine Leistungsbeschreibung enthalten. Diese soll es ermöglichen, die Leistung eindeutig zu identifizieren und leicht nachprüfbar zu machen. Aufgrund einer zu allgemeinen Formulierung, dem Mangel an Details oder branchenspezifischer Besonderheiten kann es jedoch zur Ablehnung des Vorsteuerabzugs kommen.

Prinzipiell werden mit dem Schreiben vom 01.12.2021 des Bundesministeriums für Finanzen (BMF)¹ die inhaltlichen Voraussetzungen für die Bezeichnung einer Leistung in einer Rechnung näher definiert. Dennoch ist nach wie vor nicht eindeutig bestimmt, was eine zutreffende Leistungsbeschreibung tatsächlich ist. Der Interpretationsspielraum, ob bspw. eine Ware in der Leistungsbeschreibung als „handelsüblich“ beschrieben wurde, stellt insbesondere Steuerabteilungen in Unternehmen vor eine große Herausforderung. So gelten Lieferungen mit Gattungsbezeichnungen wie „T-Shirt“, „Bluse“ o. ä. als handelsüblich. Demgegenüber ist bei sonstigen Leistungen keine entsprechende Angabe vorgesehen. So wird z. B. die Leistungsbeschreibung „Erbringung juristischer Dienstleistungen“ von der Finanzverwaltung als eine nicht ausreichende Leistungsbeschreibung beurteilt².

Da die Kontrolle der Leistungsbeschreibung komplex und häufig noch manuell erfolgt, befasst sich vorliegendes Anwendungsszenario mit der Frage, inwieweit sich große Sprachmodelle für die Klassifikation von Leistungsbeschreibungen nutzen lassen können. Ähnlich einem Vier-Augen-Prinzip soll durch die KI eine Vorabprüfung stattfinden, sodass der Steuerexperte nur noch solche Leistungsbeschreibungen manuell prüfen muss, die tendenziell nicht für einen Vorsteuerabzug ausreichend sind. Aufgrund des repetitiven Charakters des Prüfprozesses, aber auch der Quantität an zu prüfende Rechnungen, birgt dieser Ansatz ein enormes Automatisierungspotenzial, welches den Steuerexperten in dessen täglichen Arbeit maßgeblich entlasten können.

Ziel des Anwendungsszenarios ist die Bewertung, inwieweit sich große Sprachmodelle mit ihrem vorhandenen allgemeinen Wissen und ihrer Generalisierungsfähigkeit für die Klassifikation von Leistungsbeschreibungen nutzen lassen. Für die Anpassung eines LLM an eine spezifische Aufgabe gibt es unterschiedliche Ansätze, die in der Literatur diskutiert werden [40]. Die Lösungsarchitektur des Anwendungsfalls basiert auf unterschiedlichen Prompt-Tuning-Ansätzen.

Hard Prompt Tuning: Der Fokus liegt weniger auf der Bereitstellung von Kontextinformationen, sondern auf der Ermittlung der besten Prompt-Formulierung. Durch eine möglichst präzise Formulierung soll dem Sprachmodell wenig Interpretationsspielraum gegeben werden, um so eine möglichst präzise Antwort zu erhalten. Entsprechend wurden unterschiedliche Formulierungen verprobt und evaluiert.

In-Context Learning (ICL): Die Idee besteht darin, Beispiele und zusätzliche Informationen zur Lösung der spezifischen Aufgabe bereitzustellen. Dadurch ist das Sprachmodell in der Lage, das gewünschte Verhalten und Informationen abzuleiten und entsprechende Antworten zu generieren. Der Vorteil liegt darin, dass für diese Art des Fine-Tunings nur eine begrenzt oder gar keine gelabelten Trainingsdaten verfügbar sein müssen. Außerdem lässt sich der Ansatz schnell implementieren und auch perspektivisch für andere steuerliche Aufgaben nutzen, bei denen ein Fine-Tuning der Modellparameter nicht möglich ist, z. B. aufgrund fehlendem Direktzugriff auf das Sprachmodell.

Few-shot Prompt-Tuning: Bei diesem verprobten Verfahren handelt es sich um eine Methode, im Zuge derer das LLM auf eine spezifische Aufgabe anhand einer sehr begrenzten Anzahl von Beispielen angepasst wird – den sogenannten „Shots“.

Die Umsetzung des Anwendungsfalls erfolgte in Form eines binären Klassifikationsproblems auf den zwei LLMs LeoLM³- und GPT-4⁴.

LeoLM: Dabei handelt es sich um ein auf der deutschen Sprache optimiertes Llama-2-Modell, basierend auf einer Transformer-Architektur [41]. Das auf Chat-Texten abgestimmte Modell wurde mit dem Ziel ausgewählt, überwiegend in deutscher Sprache vorliegende Anfragen und Leistungsbeschreibungen besser zu verstehen und möglichst kohärente, relevante und kontextuell konsistente Antworten zu generieren. Die Implementierung des Anwendungsfalls erfolgte innerhalb der internen DFKI-Infrastruktur. Die Lizenzierung dieses Modells erlaubt eine kommerzielle Nutzung.

GPT-4: Das auf der GPT-Architektur basierte große multimodale Sprachmodell wurde von OpenAI entwickelt. Im Vergleich zu GPT-3, das ausschließlich natürliche Sprache verarbeiten kann, ist GPT-4 in der Lage, auch Bilder, Dokumente oder Code basierend auf den Eingaben zu generieren, die es erhält. Das Modell wurde mit einer Vielzahl an Daten trainiert und durch ein unüberwachtes Nachtrainieren sowie menschlichen Feedback (RLHF) verbessert.

Die Evaluation erfolgte auf 73 gelabelten Leistungsbeschreibungen, die aus realen Rechnungen extrahiert, gelabelt und durch die WTS bereitgestellt wurden. Zwecks Sicherstellung des Datenschutzes wurden diese entsprechend anonymisiert. Bei den Leistungsbeschreibungen handelt es sich sowohl um Waren- als auch um Dienstleistungen. Insgesamt wurden neun verschiedene Prompts entwickelt – vier Hard-Prompts (Prompt 1-4), drei ICL-basierte Prompts (Prompt 5-7) sowie zwei Few-shot-Prompts (Prompt 8-9).

Die Abfragen wurden so formuliert, dass das Sprachmodell zwei Antworten zurückliefern soll, entweder „Ja“ (d.h. Leistungsbeschreibung berechtigt zum Vorsteuerabzug) oder „Nein“ (d.h. Leistungsbeschreibung berechtigt nicht zum Vorsteuerabzug)⁵. Nachfolgend sind die unterschiedlichen Ansätze sowie deren Abfragen näher erläutert:

Die Evaluation der Ergebnisse erfolgte anhand gängiger ML-Metriken wie Accuracy, Precision, Recall und F1-Score. Diese wurden dabei für jede Klasse berechnet. In erster Linie, um besser verstehen zu können, wie gut das Modell diese vorhersagt.

Die Evaluation zeigte, dass Prompt-Tuning-Ansätze durchaus eine ressourceneffiziente Möglichkeit zur Feinabstimmung großer Sprachmodelle für die Bewertung von Leistungsbeschreibungen darstellen. Insbesondere beim GPT-4 zeigte sich, dass die Aufforderungen im Prompt sehr gut verstanden werden. So wurden in allen Prompts die Fragen mit „Ja“ oder „Nein“ beantwortet. Abhängig des gewählten Prompt-Tuning-Ansatzes wurden zudem gute, aber auch schlechtere Ergebnisse erzielt.

Anders im Fall von LeoLM, dass neben den forcierten Antwortmöglichkeiten oft eine längere Antwort bzw. oft auch keine Antwort zurücklieferte. In den Antworten von LeoLM konnten zudem vereinzelt Halluzinationen bzw. Falschinformationen beobachtet werden. Ein möglicher Grund dafür könnte sein, dass LeoLM mit seinen 13 Milliarden Parametern deutlich kleiner als GPT-4 ist und somit eine wesentlich kleinere Wissensbasis aufweist. Dies erklärt auch die im Schnitt schlechteren Ergebnisse, wie in folgender Abbildung dargestellt.

Im Rahmen eines Prompt-Tuning sollte man sich jedoch immer bewusst darüber sein, dass ein detaillierter oder zu eingeschränkter Prompt das Modell in eine bestimmte Richtung lenken kann. Eine Richtung, die nicht unbedingt optimal oder sogar irreführend zur Lösung der spezifischen Aufgabe beiträgt. So konnte durch die Angabe einer Rollenbeschreibung (Prompt 2) mit GPT-4 die Accuracy im Vergleich zu einem einfachen Prompt nur mit der Frage (Prompt 1) verbessert werden (0.75). Durch die Angabe weiterer Anforderungen (z. B. Berücksichtigung § 14 UStG (Prompt 3)) oder durch eine sprachliche Umformulierung (Prompt 4) zeigte sich jedoch, dass sich die Vorhersage deutlich verschlechterte (0.69 bzw. 0.49).

Außerdem kann das Modell seine Fähigkeit verlieren, über den spezifischen Kontext der Aufforderung hinaus zu verallgemeinern, wenn es zu sehr auf die im Prompt angegebenen Beispiele spezialisiert wurde. Dies zeigten die Ergebnisse der Few-shot Prompts (Prompt 8, 9) sowohl mit GPT-4 als auch LeoLM, die deutlich schlechter ausfielen. Insbesondere dann, wenn nur negative Beispiele (Prompt 9) mit angegeben wurden. Hier zeigte sich, dass das Modell sich stark an den Beispielen orientiert und somit deutlich restriktiver und pessimistischer in seiner Klassifikation ist.

Aber auch durch die Berücksichtigung zu allgemeiner Kontextinformationen kann die Genauigkeit der Klassifikation abnehmen. Dies zeigte sich beim ICL. So erzielte zwar LeoLM durch die Bereitstellung allgemeiner Kontextinformationen (Prompt 5) eine etwas bessere Accuracy (0.75) als GPT-4 (0.73), jedoch zeigte sich bei einer detaillierteren Betrachtung der F1-Scores von 0.85 (Ja) und 0.25 (Nein), dass der Prompt sich nur bedingt für den praktischen Einsatz eignen würde. Ein etwas anderes Verhalten zeigte sich bei GPT-4, dessen Accuracy sich durch die Angabe spezifischerer Kontextinformationen (Prompt 6) leicht verbesserte (0.73 auf 0.79).

Zusammenfassend lässt sich sagen: Durch ein Prompt-Tuning können bereits vortrainierte LLMs zur Klassifikation von Leistungsbeschreibungen durchaus zum Einsatz kommen. Für sehr domänenspezifische Fragestellungen, wie sie im Steuerbereich bzw. im Kontext der Beurteilung eines Vorsteuerabzugs vorkommen, implizieren die Ergebnisse jedoch auch, dass ein einfaches Prompt-Tuning nicht ausreichend sein wird. Vor allem wenn es darum geht, den Prozess der Vorprüfung komplett zu automatisieren bzw. eine hohe Genauigkeit bei der Vorhersage sicherzustellen.

Ein Grund dafür ist, dass Leistungsbeschreibungen allgemein sehr vage sein können und oft nur zusammen mit weiteren Informationen (z. B. den Rechnungsdaten) abhängig des Einzelfalls bewertet werden können¹. Um diese Herausforderung zu berücksichtigen, gibt es jedoch unterschiedliche Verbesserungsmöglichkeiten oder weitere Möglichkeiten, LLMs für spezifische Aufgaben nutzbar zu machen. So stellt bspw. das LLM-Indexing oder Retrieval-Augmented Generation (RAG) Systeme eine weitere Möglichkeit dar, bei dem externe Daten indiziert und so strukturiert, dass das LLM effizient darauf zugreifen kann.. Dadurch lassen sich zusätzliche Informationen aus einer Menge an für die Bewertung der Leistungsbeschreibung relevanter Dokumente berücksichtigen, auf deren Basis schließlich die Beurteilung erfolgt [40]. Weitere Ansätze, um LLM auf die Zielaufgabe effizient anzupassen, werden in der Literatur auch unter dem Begriff Parameter-Efficient Fine-Tuning (PEFT) diskutiert [42].

¹Bundesministerium der Finanzen (BMF), 1.12.2021, III C 2 - S 7280 - a/19/10002 :001
²BFH-Urteil vom 10. 11. 1994, V R 45/93, BStBl 1995 II S. 395
³https://huggingface.co/LeoLM/leo-hessianai-13b-chat
⁴https://openai.com/gpt-4
⁵So wurde explizit die Anweisung mitangegeben: „Antworte mit Ja oder Nein. Fall du die Antwort nicht kennst, antworte mit Nein.“