Kosten Eigenbetrieb gegen Abrechnung pro Token: was KI auf eigenen GPUs wirklich kostet

Kosten Eigenbetrieb gegen Abrechnung pro Token: was KI auf eigenen GPUs wirklich kostet

Ob sich der Eigenbetrieb von KI-Modellen rechnet, entscheidet vor allem das Volumen. Nach unserer Modellrechnung mit Listenpreisen vom Oktober 2026 lohnt sich eine gemietete GPU in einem deutschen Rechenzentrum gegenüber geschlossenen Spitzenmodellen ab etwa 145 bis 204 Millionen Token im Monat, gegenüber der Mittelklasse ab etwa 360 bis 550 Millionen. Gegenüber günstigen Modellen rechnet sich der Eigenbetrieb erst bei sehr hohem Volumen und hoher Auslastung. Den Ausschlag geben dann Auslastung, Datenschutz und Betriebsverantwortung.

Zwei Kostenmodelle mit unterschiedlicher Logik

Ob ein Unternehmen KI über eine Cloud API nutzt oder Modelle auf eigenen GPUs betreibt, wird oft nach Gefühl entschieden. Dabei folgen beide Wege einer klaren Logik, die sich rechnen lässt.

Bei der Abrechnung pro Token zahlen Sie für jede Anfrage. Eingaben und Ausgaben werden in Tokens gemessen, also in Wortbestandteilen, und mit einem festen Preis pro Million Tokens berechnet. Für den Start ist dieses Modell ideal: keine Investition, kein Betrieb, keine Wartezeit auf Hardware. Sie können am selben Tag beginnen. Mit jedem neuen Anwendungsfall wächst die Rechnung allerdings linear mit. Ein Assistent im Vertrieb, eine Dokumentenprüfung im Einkauf und ein Agent im Kundenservice addieren sich Monat für Monat.

Beim Eigenbetrieb kehrt sich die Logik um. Hardware, Strom, Kühlung, Wartung und Personal verursachen fixe Kosten, unabhängig davon, wie stark das System genutzt wird. Jede weitere Anfrage kostet dagegen fast nichts, solange die vorhandene Kapazität reicht. Der Eigenbetrieb belohnt Auslastung, die Abrechnung pro Token belohnt Zurückhaltung.

Daraus folgt die zentrale Frage jedes Kostenvergleichs: Wie viele Tokens verbraucht Ihr Unternehmen heute, und wie viele werden es in ein bis zwei Jahren sein?

Wo sich die Kostenlinien kreuzen

Trägt man beide Modelle über das monatliche Volumen auf, entsteht eine steigende Gerade für die Abrechnung pro Token und eine nahezu flache Linie für den Eigenbetrieb. Der Schnittpunkt ist der Break even. Unsere Auswertung im Beitrag „Das lokale KI Betriebssystem" kommt zu folgenden Schwellen:

• Gegenüber geschlossenen Spitzenmodellen liegt die Schwelle bei etwa 145 bis 204 Millionen Token im Monat.

• Gegenüber Modellen der Mittelklasse mit deutlich niedrigeren Preisen pro Token liegt die Schwelle bei etwa 360 bis 550 Millionen Token im Monat, gegenüber günstigen Modellen erst bei über einer Milliarde.

Aufschlussreich ist der Blick auf die Kostenstruktur. Eine gemietete GPU kostet jeden Monat gleich viel, ob sie ausgelastet ist oder nicht. Ihr Preis pro Million Token sinkt deshalb mit jeder weiteren Anfrage, bei der Abrechnung pro Token bleibt er konstant. Der reine Listenpreis pro Token trägt deshalb selten eine Entscheidung. Den Ausschlag geben Volumen, Auslastung, Datenschutz und die Frage, wer den Betrieb verantwortet.

Für Ihre eigene Situation lohnt es sich, die Werte mit realen Verbrauchsdaten durchzurechnen. Unser Kostenvergleichsrechner zeigt Ihnen, wo Ihr Unternehmen auf der Kurve liegt. Was zum Eigenbetrieb gehört, beschreibt die Seite private KI-Infrastruktur.

Vergleichstabelle: Eigenbetrieb gegen Abrechnung pro Token

Kriterium	Eigenbetrieb auf eigenen GPUs	Abrechnung pro Token über Cloud API
Kostenstruktur	Überwiegend fix: Hardware, Strom, Wartung, Personal	Variabel, wächst linear mit jeder Anfrage
Startaufwand	Beschaffung, Einrichtung, Absicherung	Gering, sofort nutzbar
Kosten pro zusätzlicher Anfrage	Nahezu null bis zur Kapazitätsgrenze	Konstant pro Million Tokens
Wirtschaftlich ab	Etwa 145 bis 204 Mio. Token pro Monat gegenüber Spitzenmodellen, etwa 360 bis 550 Mio. gegenüber der Mittelklasse	Unterhalb dieser Schwellen
Datenhoheit	Daten verlassen das eigene Netz nicht	Abhängig von Anbieter, Vertrag und Rechtsordnung
Betriebsverantwortung	Im Haus oder bei einem Betriebspartner	Beim API Anbieter
Anpassung an Fachsprache	Feintuning und eigene Modelle möglich	Eingeschränkt, je nach Anbieter
Planbarkeit	Hoch, Kosten über die Laufzeit bekannt	Schwankt mit Nutzung und Preisänderungen
Abhängigkeit	Von Hardware und Betriebskompetenz	Von Preisen, Modellversionen und Verfügbarkeit des Anbieters

Die Posten außerhalb der Rechnung

Viele Kostenvergleiche stellen den Preis einer GPU dem Preis pro Token gegenüber und hören dort auf. Damit fehlen genau die Posten, die im Alltag den Unterschied machen. Wer überwacht das System und bemerkt, wenn Antworten schlechter werden? Wer spielt Updates für Treiber, Laufzeitumgebung und Modelle ein und testet sie vorher? Wer reagiert nachts oder am Wochenende, wenn der Dienst steht? Wer pflegt Rechte, Protokolle und die Dokumentation für das nächste Audit?

On Premise verlagert operatives Risiko ins Haus. Das spricht nicht gegen den Eigenbetrieb, wohl aber für eine vollständige Rechnung. Zu den fixen Kosten gehören neben der Hardware auch Personalzeit für Betrieb und Bereitschaft, Redundanz oder Ersatzteile, Energie und Kühlung, Sicherheitsupdates sowie die Pflege der Anwendungen, die auf dem Modell aufsetzen. Wer diese Positionen nicht einpreist, vergleicht Äpfel mit halben Birnen.

Auf der Gegenseite fehlen in vielen Vergleichen ebenfalls Posten: Datenschutzprüfungen bei jedem neuen Anwendungsfall, Verträge mit Unterauftragnehmern und das Risiko, dass sich Preise oder Modellversionen ändern. Hinzu kommt die Rechtslage. Der US CLOUD Act gilt unabhängig vom Serverstandort. Ein europäisches Rechenzentrum eines US Anbieters schützt also nicht automatisch vor dem Zugriff US amerikanischer Behörden.

Für Unternehmen ohne eigenes Betriebsteam gibt es einen Mittelweg. Die Hardware steht im eigenen Rechenzentrum oder bei einem deutschen Hoster, der Betrieb liegt vertraglich bei einem Partner. So bleiben die Daten im Haus, ohne dass Ihre IT nachts Bereitschaft halten muss. Wie wir diesen Teil übernehmen, beschreiben wir unter KI Betrieb.

Auslastung und Software rechnen mit

Die Wirtschaftlichkeit des Eigenbetriebs hängt nicht nur an der Hardware, sondern daran, wie viele Anfragen sie in einer bestimmten Zeit verarbeitet. Die Software für die Modellbereitstellung spielt dabei eine größere Rolle, als viele erwarten. Eine aktuelle wissenschaftliche Messung zeigt bei zehn parallelen Nutzern rund 800 Tokens pro Sekunde mit vLLM gegenüber rund 150 Tokens pro Sekunde mit Ollama.

Für die Kostenrechnung bedeutet das: Dieselbe GPU kann je nach Software ein Vielfaches an Last tragen. Ein Werkzeug, das für Tests am Einzelplatz bequem ist, eignet sich nicht automatisch für den produktiven Betrieb mit vielen gleichzeitigen Nutzern. Wer den Eigenbetrieb kalkuliert, sollte deshalb nicht nur GPUs zählen, sondern die gesamte Bereitstellung planen: Laufzeitumgebung, Warteschlangen, Lastverteilung und ein Gateway, das Anfragen auf passende Modelle verteilt.

Ein solches Gateway ermöglicht auch hybrides Routing. Einfache Anfragen laufen auf einem kleinen lokalen Modell, vertrauliche Daten bleiben grundsätzlich im eigenen Netz, und nur ausgewählte Aufgaben mit öffentlichen Daten gehen bei Bedarf an eine externe API. So nutzen Sie die Stärken beider Kostenmodelle, ohne sich dauerhaft auf eines festzulegen.

Unsere Empfehlung in drei Stufen

Aus den Schwellenwerten und unserer Projekterfahrung leiten wir eine einfache Staffel ab:

1. Unter 5 Mio. Tokens pro Monat: Starten Sie in der Cloud, sofern Ihre Daten es zulassen. Nutzen Sie die Zeit, um Verbrauch, Anwendungsfälle und Qualität zu messen.

2. Ab 10 Mio. Tokens pro Monat oder bei regulierten Daten: Der Umstieg auf den Eigenbetrieb lohnt sich. Bei personenbezogenen, vertraulichen oder regulierten Daten kann er auch unterhalb dieser Schwelle die richtige Wahl sein.

3. Ab 50 Mio. Tokens pro Monat: Planen Sie mehrere GPUs, Lastverteilung und hybrides Routing, damit Kapazität und Kosten mit den Anwendungsfällen wachsen.

Rund um diese Schwellen liegt eine Grauzone, in der Datenlage, Wachstumserwartung und interne Kompetenz entscheiden. Wichtig ist, die Entscheidung nicht einmalig zu treffen, sondern den Verbrauch laufend zu beobachten. Viele Unternehmen unterschätzen, wie schnell der Bedarf steigt, sobald der erste Anwendungsfall produktiv läuft und weitere Abteilungen nachziehen.

Die Kostenfrage entscheidet sich selten am Preis pro Token. Sie entscheidet sich am Volumen und daran, wer den Betrieb trägt.

In der Praxis beginnen wir nicht mit der Kostenfrage, sondern mit dem Anwendungsfall. Die Reihenfolge ist: erstens der geplante Anwendungsfall und wie er sich entwickeln soll, zweitens das erwartete Volumen in Token pro Monat, drittens die Anforderungen an Datenhaltung und Unabhängigkeit vom Anbieter. Erst dann rechnen wir die Kosten, mit dem Kostenrechner oder in der Bestandsaufnahme.

Häufig gestellte Fragen

Ab wann lohnen sich eigene GPUs für KI?

Gegenüber geschlossenen Spitzenmodellen ab etwa 145 bis 204 Mio. Token pro Monat, gegenüber der Mittelklasse ab etwa 360 bis 550 Mio. Token. Bei regulierten Daten kann der Eigenbetrieb auch früher sinnvoll sein.

Welche Kosten werden beim Eigenbetrieb oft vergessen?

Personalzeit für Überwachung und Bereitschaft, getestete Updates, Redundanz, Energie und Kühlung sowie die Pflege von Rechten, Protokollen und Dokumentation.

Muss ich mich für ein Kostenmodell entscheiden?

Nein. Mit einem Gateway und hybridem Routing lassen sich lokale Modelle und externe APIs kombinieren, abhängig von Datenklasse und Aufgabe. Sie möchten wissen, wo Ihr Unternehmen auf der Kostenkurve liegt? Im Erstgespräch rechnen wir Ihr Volumen, Ihre Datenlage und Ihren Betriebsbedarf gemeinsam durch und zeigen Ihnen, welcher Weg sich für Sie trägt. Jetzt Erstgespräch vereinbaren

Lohnt sich Eigenbetrieb erst ab einer bestimmten Unternehmensgröße?

Nein, entscheidend ist das Volumen, nicht die Zahl der Mitarbeitenden. Ein Mittelständler mit einem Anwendungsfall, der täglich viele Dokumente verarbeitet, kann über der Schwelle liegen, ein Konzern mit einem einzelnen internen Assistenten darunter. Bei vertraulichen oder regulierten Daten kann Eigenbetrieb auch unterhalb der Kostenschwelle die richtige Wahl sein.

Können wir später von der Abrechnung pro Token in den Eigenbetrieb wechseln?

Ja. Viele Unternehmen starten mit einer Cloud-Schnittstelle und wechseln, sobald das Volumen steigt oder sensible Daten dazukommen. Der Wechsel braucht Vorlauf für Hardware oder eine dedizierte Umgebung, Modellauswahl und Tests, wir planen dafür 4 bis 10 Wochen ein. Einfacher wird er, wenn von Anfang an ein Gateway zwischen Anwendung und Modell steht, dann ändert sich nur das Ziel der Anfragen, nicht die Anwendung.

Quellen und Verweise

• NexPatch AI: „Das lokale KI Betriebssystem", https://nexpatch.ai/de/wissen/beitrag/lokales-ki-betriebssystem-eigene-server-infrastruktur (Break even gegenüber Premium und Budget APIs, 36 Monats TCO)
• arXiv 2511.17593, Durchsatzmessung vLLM und Ollama bei zehn parallelen Nutzern, https://arxiv.org/abs/2511.17593
• US CLOUD Act (Clarifying Lawful Overseas Use of Data Act)

Grundlage: Grundlage: eigene Modellrechnung mit Listenpreisen deutscher Rechenzentren und der Modellanbieter, Stand Oktober 2026. Mischpreis aus drei Teilen Eingabe und einem Teil Ausgabe, gemietete GPU mit 96 GB Speicher inklusive Betrieb.