Sprachmodell selbst betreiben oder mieten?
Ob sich ein selbst betriebenes Sprachmodell oder eine Abrechnung pro Anfrage lohnt, hängt vom Anfragevolumen ab. Bei niedrigem Volumen ist die Abrechnung pro Anfrage meist günstiger, weil Fixkosten für Hardware und Personal entfallen. Bei hohem, dauerhaftem Volumen kehrt sich das Verhältnis um, weil Eigenbetrieb die laufenden Stückkosten senkt.
Zwei Kostenmodelle mit unterschiedlicher Logik
Ob ein Unternehmen KI über eine Cloud API nutzt oder Modelle auf eigenen GPUs betreibt, wird oft nach Gefühl entschieden. Dabei folgen beide Wege einer klaren Logik, die sich rechnen lässt.
Bei der Abrechnung pro Token zahlen Sie für jede Anfrage. Eingaben und Ausgaben werden in Tokens gemessen, also in Wortbestandteilen, und mit einem festen Preis pro Million Tokens berechnet. Für den Start ist dieses Modell ideal: keine Investition, kein Betrieb, keine Wartezeit auf Hardware. Sie können am selben Tag beginnen. Mit jedem neuen Anwendungsfall wächst die Rechnung allerdings linear mit. Ein Assistent im Vertrieb, eine Dokumentenprüfung im Einkauf und ein Agent im Kundenservice addieren sich Monat für Monat.
Beim Eigenbetrieb kehrt sich die Logik um. Hardware, Strom, Kühlung, Wartung und Personal verursachen fixe Kosten, unabhängig davon, wie stark das System genutzt wird. Jede weitere Anfrage kostet dagegen fast nichts, solange die vorhandene Kapazität reicht. Der Eigenbetrieb belohnt Auslastung, die Abrechnung pro Token belohnt Zurückhaltung.
Daraus folgt die zentrale Frage jedes Kostenvergleichs: Wie viele Tokens verbraucht Ihr Unternehmen heute, und wie viele werden es in ein bis zwei Jahren sein?
Wo sich die Kostenlinien kreuzen
Trägt man beide Modelle über das monatliche Volumen auf, entsteht eine steigende Gerade für die Abrechnung pro Token und eine nahezu flache Linie für den Eigenbetrieb. Der Schnittpunkt ist der Break even. Unsere Auswertung im Beitrag „Das lokale KI Betriebssystem" kommt zu folgenden Schwellen:
Aufschlussreich ist der Blick auf die volle Laufzeit. Über 36 Monate gerechnet kommt der selbst gehostete Betrieb auf etwa 7,15 USD pro Mio. Tokens, die Nutzung über OpenAI auf etwa 6,90 USD. Beide Wege liegen damit erstaunlich nah beieinander. Der reine Preis pro Token trägt deshalb selten eine Entscheidung. Den Ausschlag geben Volumen, Auslastung, Datenschutz und die Frage, wer den Betrieb verantwortet.
Für Ihre eigene Situation lohnt es sich, die Werte mit realen Verbrauchsdaten durchzurechnen. Unser Kostenvergleichsrechner zeigt Ihnen, wo Ihr Unternehmen auf der Kurve liegt.
Vergleichstabelle: Eigenbetrieb gegen Abrechnung pro Token
| Kriterium | Eigenbetrieb auf eigenen GPUs | Abrechnung pro Token über Cloud API |
|---|---|---|
| Kostenstruktur | Überwiegend fix: Hardware, Strom, Wartung, Personal | Variabel, wächst linear mit jeder Anfrage |
| Startaufwand | Beschaffung, Einrichtung, Absicherung | Gering, sofort nutzbar |
| Kosten pro zusätzlicher Anfrage | Nahezu null bis zur Kapazitätsgrenze | Konstant pro Million Tokens |
| Wirtschaftlich ab | Etwa 5 bis 10 Mio. Tokens pro Monat gegenüber Premium APIs, etwa 50 bis 100 Mio. gegenüber Budget APIs | Unterhalb dieser Schwellen |
| Datenhoheit | Daten verlassen das eigene Netz nicht | Abhängig von Anbieter, Vertrag und Rechtsordnung |
| Betriebsverantwortung | Im Haus oder bei einem Betriebspartner | Beim API Anbieter |
| Anpassung an Fachsprache | Feintuning und eigene Modelle möglich | Eingeschränkt, je nach Anbieter |
| Planbarkeit | Hoch, Kosten über die Laufzeit bekannt | Schwankt mit Nutzung und Preisänderungen |
| Abhängigkeit | Von Hardware und Betriebskompetenz | Von Preisen, Modellversionen und Verfügbarkeit des Anbieters |
Die Posten außerhalb der Rechnung
Viele Kostenvergleiche stellen den Preis einer GPU dem Preis pro Token gegenüber und hören dort auf. Damit fehlen genau die Posten, die im Alltag den Unterschied machen. Wer überwacht das System und bemerkt, wenn Antworten schlechter werden? Wer spielt Updates für Treiber, Laufzeitumgebung und Modelle ein und testet sie vorher? Wer reagiert nachts oder am Wochenende, wenn der Dienst steht? Wer pflegt Rechte, Protokolle und die Dokumentation für das nächste Audit?
On Premise verlagert operatives Risiko ins Haus. Das spricht nicht gegen den Eigenbetrieb, wohl aber für eine vollständige Rechnung. Zu den fixen Kosten gehören neben der Hardware auch Personalzeit für Betrieb und Bereitschaft, Redundanz oder Ersatzteile, Energie und Kühlung, Sicherheitsupdates sowie die Pflege der Anwendungen, die auf dem Modell aufsetzen. Wer diese Positionen nicht einpreist, vergleicht Äpfel mit halben Birnen.
Auf der Gegenseite fehlen in vielen Vergleichen ebenfalls Posten: Datenschutzprüfungen bei jedem neuen Anwendungsfall, Verträge mit Unterauftragnehmern und das Risiko, dass sich Preise oder Modellversionen ändern. Hinzu kommt die Rechtslage. Der US CLOUD Act gilt unabhängig vom Serverstandort. Ein europäisches Rechenzentrum eines US Anbieters schützt also nicht automatisch vor dem Zugriff US amerikanischer Behörden.
Für Unternehmen ohne eigenes Betriebsteam gibt es einen Mittelweg. Die Hardware steht im eigenen Rechenzentrum oder bei einem deutschen Hoster, der Betrieb liegt vertraglich bei einem Partner. So bleiben die Daten im Haus, ohne dass Ihre IT nachts Bereitschaft halten muss. Wie wir diesen Teil übernehmen, beschreiben wir unter KI Betrieb.
Auslastung und Software rechnen mit
Die Wirtschaftlichkeit des Eigenbetriebs hängt nicht nur an der Hardware, sondern daran, wie viele Anfragen sie in einer bestimmten Zeit verarbeitet. Die Software für die Modellbereitstellung spielt dabei eine größere Rolle, als viele erwarten. Eine aktuelle wissenschaftliche Messung zeigt bei zehn parallelen Nutzern rund 800 Tokens pro Sekunde mit vLLM gegenüber rund 150 Tokens pro Sekunde mit Ollama.
Für die Kostenrechnung bedeutet das: Dieselbe GPU kann je nach Software ein Vielfaches an Last tragen. Ein Werkzeug, das für Tests am Einzelplatz bequem ist, eignet sich nicht automatisch für den produktiven Betrieb mit vielen gleichzeitigen Nutzern. Wer den Eigenbetrieb kalkuliert, sollte deshalb nicht nur GPUs zählen, sondern die gesamte Bereitstellung planen: Laufzeitumgebung, Warteschlangen, Lastverteilung und ein Gateway, das Anfragen auf passende Modelle verteilt.
Ein solches Gateway ermöglicht auch hybrides Routing. Einfache Anfragen laufen auf einem kleinen lokalen Modell, vertrauliche Daten bleiben grundsätzlich im eigenen Netz, und nur ausgewählte Aufgaben mit öffentlichen Daten gehen bei Bedarf an eine externe API. So nutzen Sie die Stärken beider Kostenmodelle, ohne sich dauerhaft auf eines festzulegen.
Unsere Empfehlung in drei Stufen
Aus den Schwellenwerten und unserer Projekterfahrung leiten wir eine einfache Staffel ab:
Zwischen 5 und 10 Mio. Tokens liegt eine Grauzone, in der Datenlage, Wachstumserwartung und interne Kompetenz entscheiden. Wichtig ist, die Entscheidung nicht einmalig zu treffen, sondern den Verbrauch laufend zu beobachten. Viele Unternehmen unterschätzen, wie schnell der Bedarf steigt, sobald der erste Anwendungsfall produktiv läuft und weitere Abteilungen nachziehen.
Die Kostenfrage entscheidet sich selten am Preis pro Token. Sie entscheidet sich am Volumen und daran, wer den Betrieb trägt.
Häufige Fragen
Quellen
- NexPatch AI: „Das lokale KI Betriebssystem", https://nexpatch.ai/de/blog/lokales-ki-betriebssystem-eigene-server-infrastruktur (Break even gegenüber Premium und Budget APIs, 36 Monats TCO)
- arXiv 2511.17593, Durchsatzmessung vLLM und Ollama bei zehn parallelen Nutzern, https://arxiv.org/abs/2511.17593
- US CLOUD Act (Clarifying Lawful Overseas Use of Data Act)