Modelle größer als jede einzelne GPU: SilentSwarm ist jetzt in der Open Beta

In jedem Homelab und jedem kleinen ML-Team gibt es dieselbe stille Frustration: Das Modell, das man fine-tunen möchte, passt nicht auf die GPU, die man hat. Die 24-GB-Karte fasst das 14B-Modell nicht. Die zweite Maschine mit der älteren 12-GB-Karte steht ungenutzt herum, denn zwei unterschiedliche Rechner in verschiedenen Netzwerken gemeinsam ein Modell trainieren zu lassen, ist für sich genommen ein Netzwerk- und DevOps-Projekt.

SilentSwarm ist unsere Antwort. Es ist ein selbst gehostetes System, das ein Large Language Model in Pipeline-Stufen aufteilt, diese Stufen über die Maschinen verteilt, die Sie bereits haben (unterschiedliche GPUs, verschiedene Server, auch hinter NAT und Firewalls), und Sie trainieren, fine-tunen und servieren lässt, als wäre alles eine Maschine. Heute öffnen wir die Beta.

Was es kann

Pipeline-Parallelismus ohne Plattform-Team. SilentSwarm lädt jedes HuggingFace Causal LM (GPT-2, Qwen2.5, Llama-Familie und andere), prüft den freien VRAM jeder GPU im Schwarm und weist stärkeren Karten automatisch mehr Layer zu. Jeder Node hält nur seine eigene Stufe. Die Modellobergrenze ist damit die Summe Ihrer Karten, nicht die größte einzelne.

Weniger trainieren, mehr unterbringen. Volles Fine-Tuning ist eine Option. Die interessantere: das vortrainierte Backbone einfrieren und nur eine kleine gelernte Kompressionsschicht an der Stufengrenze trainieren. Dieser "Bottleneck"-Ansatz reduziert den Datenverkehr zwischen den Nodes und hebt die Obergrenze trainierbarer Modelle auf derselben Hardware um etwa das Sechsfache. Das zählt, wenn Ihr "Cluster" aus einem Gaming-PC und einem gebrauchten Server besteht.

Unser bisher größter validierter Lauf zeigt, wie das in der Praxis aussieht: ein Qwen2.5-3B-Modell, aufgeteilt auf einen schwachen Node mit 2x6 GB GPUs und einen starken Node mit 16-GB- und 24-GB-Karten. Das Backbone bleibt eingefroren; trainiert wird nur der Bottleneck-Kompressor an der Stufengrenze (2048 auf 384 Dimensionen, int8). Das volle Modell passt, weil kein Node jemals alle Gradienten halten muss.

Keine Netzwerk-Heldentaten. Worker-Nodes ("Fellows") verbinden sich ausgehend zum Leader und kommunizieren über dessen eingebautes Relay. Es funktioniert also über NAT, Firewalls und Heimanschlüsse hinweg, ganz ohne Port-Forwarding. Können sich Nodes direkt erreichen, schaltet die Transportwahl automatisch auf direkte ZeroMQ-Verbindungen zwischen den Fellows um. Ein optionales WireGuard-basiertes Mesh (Tailscale, oder vollständig selbst gehostet mit Headscale) macht diesen direkten Pfad zum Standard: Jeder Node erhält eine stabile Overlay-Adresse, Aktivierungen und Gradienten fließen Peer-to-Peer, und das Leader-Relay bleibt Fallback statt Flaschenhals.

In zehn Minuten zum Schwarm. Die Control Plane ist ein einziges docker compose up, und sie kommt ohne Torch aus, läuft also auf jeder kleinen Kiste. PyTorch brauchen nur die GPU-Fellows. Einen GPU-Node fügt man mit einem einzigen curl-Befehl aus dem Dashboard hinzu; er richtet seine Umgebung selbst ein (Quellcode, Virtualenv, Abhängigkeiten) und erscheint innerhalb von Sekunden im Live-Schwarm-Graphen. Der Bootstrap läuft ausschließlich über HTTPS, ist Checksummen-verifiziert und lässt sich auf Invite-Tokens beschränken. Wer kein Skript ausführen möchte, das er nicht gelesen hat: Die Dokumentation beschreibt einen Read-before-run-Ablauf, also herunterladen, Checksumme prüfen, lesen, dann ausführen.

Vom Trainingslauf zum Chat. Trainierte Modelle werden automatisch in einen Inference-Katalog exportiert. Laden Sie eines über das Web-UI und chatten Sie im Browser damit, oder sprechen Sie es über die OpenAI-kompatible API aus Ihren bestehenden Tools an. Training und Inference laufen auf derselben Topologie: Derselbe Schwarm, der das Modell trainiert hat, serviert es auch, wobei die Kopfstufe die Tokens über das Relay zurückstreamt.

Wie es aussieht

Die Training-Konsole zeigt Ihren Schwarm als Live-Graphen: jeder Fellow ein Knoten, eingefärbt nach Zustand, mit GPU-Inventar, VRAM und Durchsatz einen Klick entfernt. Jobs streamen Live-Loss-Kurven; Fellow-Logs laufen direkt im Browser. Die Inference-Seite ist ein schlichter Modell-Picker mit Chat: laden, auf das grüne Licht warten, mit dem eigenen Modell sprechen.

Wer das Terminal bevorzugt, steuert alles über die swarm-CLI: swarm nodes für den Cluster-Status, swarm sweep --name <config> zum Starten eines Laufs, swarm watch <job_id> für den Live-Loss, swarm infer für einzelne Prompts und swarm update, um neuen Code auf alle verbundenen Fellows gleichzeitig auszurollen.

Der Vergleich

Petals, Exo, GPUStack und Ray berühren alle Teile dieses Feldes. Was SilentSwarm unterscheidet, ist die Kombination: gelernte Bottleneck-Kompression, die Pipeline-Parallelismus über normale Internetverbindungen wirtschaftlich macht, NAT-freundlicher Transport ohne jede Netzwerkkonfiguration, Node-Bootstrap mit einem einzigen curl, und dass dieselbe selbst gehostete Topologie das Modell sowohl trainiert als auch serviert.

Ehrliche Beta-Hinweise

Das ist ein Soft Launch, und wir setzen die Erwartungen lieber gleich richtig:

• Verteiltes Training unterstützt derzeit zwei Pipeline-Stufen durchgängig (echte Aktivierungs- und Gradienten-Tensoren über ZeroMQ, mit dem Leader-Relay als Fallback). Die Verallgemeinerung auf N Stufen steht ganz oben auf der Roadmap.
• WikiText-103 ist der eingebaute Datensatz; der Loader ist austauschbar.
• Rechnen Sie mit Ecken und Kanten. Dafür ist die Beta da, und deshalb empfehlen wir, den Fellow-Bootstrap während des Ausprobierens mit Tokens abzusichern.

Der Soft Launch bedeutet auch: Der Zugang ist vorerst begrenzt. SilentSwarm läuft aktuell mit einer Gruppe von Test-Nutzern, und Sie können sich unter silentswarm.nexpatch.ai registrieren, um dazuzugehören. Nach dem Soft Launch wird der Quellcode offen veröffentlicht, sodass jeder selbst hosten kann. Bei Fragen erreichen Sie uns unter info@nexpatch.ai.

Wir sind auch ehrlich, wohin die Reise geht. SilentSwarm ist heute Phase 1 von drei: ein vertrauenswürdiger Cluster aus Maschinen, die Sie besitzen oder kontrollieren. Phase 2 sind föderierte Pools, in denen Freunde oder Organisationen Kapazität teilen (Accounts, Pools mit rollenbasierten Quoten und Node-Credentials sind bereits da; das Metering noch nicht). Phase 3 ist ein offener Compute-Marktplatz zwischen Fremden, der Sandboxing, Fehlertoleranz und Reputation braucht, bevor wir ihn versprechen. Die Roadmap ist öffentlich und soll offen mitgestaltet werden.

Lizenz: kostenlos für Sie, kostenpflichtig für Unternehmen

Nach dem Soft Launch wird SilentSwarms Quellcode offen unter der PolyForm-Noncommercial-Lizenz veröffentlicht: Für persönliche Projekte, Forschung und Homelabs können Sie es kostenlos selbst hosten, für immer. Kommerzielle Nutzung erfordert eine kostenpflichtige Lizenz; sie finanziert das Projekt. Wenn Sie es in einem Unternehmen einsetzen möchten, sprechen Sie mit uns.

Ausprobieren

Während des Soft Launch ist der schnellste Weg hinein, sich als Test-Nutzer unter silentswarm.nexpatch.ai zu registrieren. Sobald der Quellcode nach dem Soft Launch veröffentlicht ist, wird Self-Hosting so einfach sein:

git clone https://github.com/Franzelfx/nxpSilentSwarm.git && cd nxpSilentSwarm
docker compose up -d --build leader frontend
# http://localhost:3000 öffnen, der erste Account wird Admin

Dann Training öffnen, den einzeiligen curl-Befehl auf eine beliebige Maschine mit GPU kopieren und zusehen, wie sie dem Schwarm beitritt.

• 🌐 Live-Demo und Docs: silentswarm.nexpatch.ai
• 📖 Erste Schritte: silentswarm.nexpatch.ai/docs
• ❓ Fragen: info@nexpatch.ai

Wir haben SilentSwarm gebaut, weil die GPUs für größere Modelle längst bei Ihnen zu Hause stehen. Sie stehen nur in verschiedenen Zimmern. Bringen Sie sie zum Reden.

SilentSwarm ist ein Produkt der NexPatch AI UG, Leipzig.