Cloud oder souverän im eigenen Haus? Eine Methode zur Bewertung von LLM-Anwendungsfällen

Cloud oder souverän im eigenen Haus? Eine Methode zur Bewertung von LLM-Anwendungsfällen

Cloud oder souverän im eigenen Haus? Eine Methode zur Bewertung von LLM-Anwendungsfällen

Für denselben LLM-Anwendungsfall kommen grundsätzlich zwei Ansätze infrage: die Cloud (schnell startklar und rasch amortisiert) oder die souveräne Lösung im eigenen Haus (mit voller Datenkontrolle und Unabhängigkeit). Beide können wirtschaftlich sinnvoll sein.

Die entscheidende Frage lautet daher nicht: „Welcher Weg ist besser?“, sondern: „Welcher passt zum eigenen Kontext, und wie lässt sich das nachvollziehbar bewerten?“

Im Rahmen von DIH West / AI Factory Austria stellen wir dafür ein wiederverwendbares Framework vor, mit dem sich LLM-Anwendungsfälle anhand von drei Leitfragen systematisch bewerten lassen. Ausgangspunkt ist eine einfache Formel:

ROI = (Jährlicher Nutzen − Jährliche Kosten) / Jährliche Kosten

Frage 1: Was ist der Nutzen?

Der Nutzen ist kein Bauchgefühl, sondern eine Kette messbarer Hebel:

Nutzer × Anfragen pro Tag × Arbeitstage × Zeitersparnis pro Anfrage × Stundenkosten × Realisierungsfaktor r

Ein Durchschnittsfall macht die Größenordnung greifbar:

  • 50 Nutzer × 5 Anfragen/Tag × 220 Arbeitstage = 55.000 Anfragen pro Jahr
  • 5 Minuten Ersparnis pro Anfrage, 44,30 € pro Stunde, r = 0,7
  • ≈ 142.000 € modellierter Nutzen pro Jahr

Der wichtigste und am häufigsten unterschätzte Hebel ist der Realisierungsfaktor r. Er beschreibt eine unbequeme Wahrheit: Nicht die gesamte theoretische Zeitersparnis landet real im Ergebnis. Ein Teil verpufft in Kontextwechseln, Kontrollschleifen, Gewöhnung, unterschiedlicher Nutzungsintensität. Typisch liegt r zwischen 0,5 und 0,8; für viele Szenarien ist 0,7 ein guter Richtwert. Die bewusste Wahl dieses Faktors trägt wesentlich zu einer belastbaren Bewertung bei.

Frage 2: Cloud oder lokal, welcher Ansatz passt?

Die häufigste erste Frage vor einem LLM-Projekt lautet: „Was kosten uns die Tokens?“ Für eine fundierte Wirtschaftlichkeitsbetrachtung reicht diese Perspektive jedoch nicht aus. Cloud- und On-Premise-Lösungen verfolgen unterschiedliche Stärken und sollten anhand derselben Bewertungsmethode verglichen werden.

Cloud-LLM (RAG über Cloud-API)

  • Tempo und geringe Einstiegshürde: in Tagen startklar, kaum Fixkosten, elastisch skalierbar, kein eigener Hardware-Betrieb.
  • Die niedrigen Fixkosten führen typischerweise zu einer schnellen Amortisation, oft schon im ersten Jahr.
  • Stark, wenn Time-to-Value und Skalierung zählen und keine besonderen Datenschutz-Auflagen bestehen.
  • Typischer Use Case: ein interner Wissens- und Support-Assistent, der Mitarbeitenden Fragen zu Handbüchern, Prozessen oder dem Produktkatalog beantwortet: hohes Anfragevolumen, wenig sensible Daten, schnell produktiv.

Souveränes On-Premise-LLM

  • Volle Datensouveränität und Kontrolle: Ihre Daten bleiben im Haus: kein Vendor-Lock-in, DSGVO- und auditfest, regulatorisch zukunftssicher.
  • Höhere Anfangsinvestition (GPU-Hardware, Betrieb, Personal) und ein längerer Amortisationshorizont. Die reine Zeitersparnis-ROI kann anfangs negativ ausfallen, doch Souveränität und Unabhängigkeit sind darin noch nicht
  • Für datensensible und regulierte Fälle der strategisch richtige Weg.
  • Typischer Use Case: ein Assistent für sensible Dokumente, etwa Patienten-, Personal- oder Vertragsdaten in Gesundheitswesen, Verwaltung oder Industrie, bei denen die Daten das Haus nicht verlassen dürfen. Hier rechtfertigt der Souveränitätsbedarf die höhere Investition.

Zwei wichtige Nuancen: Erstens entstehen die größten Kosten häufig nicht durch GPUs oder Token-Nutzung, sondern durch Personalaufwand, beispielsweise für DevOps, Security, ML Engineering oder Compliance. Zweitens misst die ROI-Formel eingesparte Zeit, nicht den Wert von Datensouveränität, Compliance-Sicherheit und Unabhängigkeit. Ein rechnerisch längerer Break-even bei der souveränen Lösung kann sich strategisch also klar lohnen.

Frage 3: Was hält dem Stresstest stand?

Ein ROI, der nur im Best Case funktioniert, ist kein Business Case, sondern eine Hoffnung. Deshalb rechnen wir jeden Fall in drei Szenarien durch (Best, Average, Worst) und testen gezielt die unsichersten Annahmen.

Als Faustregel gilt: Amortisiert sich ein Case in unter 12 bis 18 Monaten, ist er tragfähig. Längere Zeiträume schließen ein Projekt nicht aus, sollten aber bewusst vor dem Hintergrund strategischer Ziele bewertet werden.

Die Checkliste zum Mitnehmen

  1. Jährlichen Nutzen schätzen: Nutzer, Anfragen, Zeitersparnis, Wert der Zeit und einen realistischen Realisierungsfaktor bestimmen.
  2. Jährliche Kosten schätzen: Cloud vs. lokal, inklusive einmaliger Entwicklung (C0) und laufender Kosten (Cr).
  3. Best-, Average- und Worst-Case durchspielen und die unsichersten Annahmen bewusst stresstesten.

Es gibt nicht den einen richtigen Weg, es gibt den richtigen Weg für den eigenen Kontext: Cloud für Tempo und Skalierung, souverän im eigenen Haus für Datenkontrolle und Unabhängigkeit. Das vorgestellte Framework unterstützt dabei, beide Ansätze nachvollziehbar und auf Basis transparenter Annahmen zu bewerten.

Über den LLM ROI Workshop

Das hier skizzierte Framework, die drei Leitfragen und die zugrunde liegenden Kennzahlen werden im Workshop  LLM ROI – Investitionsentscheidungen für Führungskräfte und Entscheidungsträger im Rahmen von DIH West und AI Factory Austria im Detail besprochen. Im Workshop erarbeiten die Teilnehmenden den Business Case für ihren eigenen Anwendungsfall: von der realistischen Nutzenschätzung über die Kostenmodellierung für Cloud- und On-Premise-Betrieb bis zur Szenario- und Break-even-Analyse, begleitet von praktischen Rechenbeispielen und Vorlagen.

Autor: Eduard Frankford, Universität Innsbruck

Bild: © KI-generiert