Entscheidungsvorlage · aquadrat ingenieure · August 2026
Lokale KI im Büro: Welche Hardware trägt uns?
Bewertung des NVIDIA DGX Spark und der Alternativen – mit Blick darauf,
dass künftig mehrere Kollegen gleichzeitig damit arbeiten sollen.
Das Ergebnis in drei Sätzen
Die Grundidee ist richtig: Ein eigener KI-Rechner im Haus löst unser Datenschutzproblem bei Gutachten, Netzplänen und Kundendaten vollständig. Cloud-Dienste sind bei kommunalen Auftraggebern vertraglich oft ausgeschlossen.
Der DGX Spark ist dafür aber das falsche Gerät. Er hat sehr viel Speicher, aber einen zu langsamen Zugriff darauf. Für die Art von Modellen, die wir im Alltag brauchen, liefert er Antworten im Schneckentempo – und bei mehreren Nutzern gleichzeitig bricht er ein.
Empfehlung: Erst drei Monate eine Maschine mieten (184 € monatlich), um den echten Bedarf zu messen. Danach gezielt eine Workstation-Karte kaufen – die ist beim gleichen Budget etwa siebenmal schneller.
Warum „128 GB Speicher" nichts über die Geschwindigkeit sagt
In den Werbeunterlagen des Spark steht die Speichergröße groß auf der ersten Seite.
Die Zahl, die über die Arbeitsgeschwindigkeit entscheidet, steht dort nicht.
Das Missverständnis
Speichergröße = Lagerfläche
Sie bestimmt nur, welches Modell überhaupt hineinpasst.
Der Spark hat mit 128 GB eine große Halle – da passt fast alles rein.
Der entscheidende Punkt
Bandbreite = Breite des Tores
Für jedes einzelne Wort der Antwort muss das komplette Modell einmal
durch dieses Tor. Ist es schmal, hilft die größte Halle nichts.
Der Spark hat eine Lagerhalle mit einer Scheunentür
128 GB Lagerfläche – aber nur 273 GB/s Durchsatz.
Eine professionelle Workstation-Karte schafft 1.344 bis 1.800 GB/s,
also das Fünf- bis Siebenfache. Genau diese Zahl bestimmt, wie schnell eine Antwort entsteht.
Was „7B, 14B, 70B" bedeutet
Die Zahl steht für Milliarden gelernter Parameter – vereinfacht: für die Berufserfahrung des Modells.
Je größer, desto besser die Urteilsfähigkeit. Und desto mehr Rechenleistung nötig.
7B
Techniker, 2. Jahr
Schnell und zuverlässig bei klaren Aufgaben. E-Mails, Protokolle, Zusammenfassungen.
14B
Projektleiter
Versteht Fachsprache und Zusammenhänge. Normenrecherche, Berichtsentwürfe.
Denkt in Systemen, erkennt versteckte Anforderungen. Konzepte, komplexe Analysen.
Realistische Einordnung für uns: Der Alltag im Büro liegt bei 14B bis 34B.
Ein 70B-Modell brauchen wir nur punktuell – aber die Hardware muss es können,
sonst kaufen wir in zwei Jahren erneut.
Quantisierung: der Maßstab des Bauplans
Modelle lassen sich verkleinern, indem man ihre internen Zahlen gröber rundet.
Das spart massiv Speicher und Zeit – bei kaum spürbarem Qualitätsverlust.
Original (FP16)
Der CAD-Plan, millimetergenau. Braucht die dreifache Hardware – im Büroalltag nicht nötig.
Q4 – unser Standard
Die Werkstattzeichnung: alle wichtigen Maße drin, Rest sinnvoll vereinfacht. Rund 96 % der Originalqualität bei einem Drittel des Speichers.
Zu grob (Q2)
Die Bleistiftskizze auf dem Bierdeckel. Idee erkennbar – bauen würde man danach nicht.
Übersetzt: Ein 70B-Modell in Q4 belegt rund 43 GB statt 140 GB.
Erst dadurch wird ein Senior-Ingenieur-Modell auf einer einzelnen Karte überhaupt bezahlbar.
Der eigentliche Knackpunkt: mehrere Nutzer gleichzeitig
Eine KI-Antwort erscheint Wort für Wort. Unter etwa 15 Wörtern pro Sekunde wirkt das zäh –
langsamer als die meisten lesen. Teilen sich mehrere Kollegen ein Gerät, sinkt das Tempo pro Person.
Gleichzeitige Nutzer
4
Gelbe Linie = 15 Wörter/Sekunde, ab hier fühlt es sich flüssig an
Die Optionen im direkten Vergleich
Gerät
Tempo-Kennzahl
Speicher
Preis
Mehrere Nutzer
NVIDIA DGX Sparkder Vorschlag
273 GB/slangsamstes Tor
128 GB
4.800 €derzeit nicht lieferbar
ungeeignet
RTX PRO 5000 BlackwellWorkstation-Karte
1.344 GB/s5× schneller
48 GB
~4.600 €plus Rechner
3–6 Nutzer
RTX PRO 6000 BlackwellAusbaustufe
1.800 GB/s7× schneller
96 GB
~8.900 €
6–12 Nutzer
Zwei Karten parallelspäterer Ausbau
2 × 1.800 GB/s
192 GB
~18.000 €
15+ Nutzer
Mietserver (Hetzner)deutsches Rechenzentrum
1.800 GB/s
96 GB
184–889 €pro Monat, kündbar
flexibel
Wichtig zum Verständnis: Der Spark ist kein schlechtes Gerät – er ist auf etwas anderes ausgelegt.
Er glänzt beim Einlesen sehr langer Dokumente und beim Trainieren eigener Modelle,
und er ist die günstigste Möglichkeit, überhaupt sehr große Spezialmodelle lokal zu starten.
Für das, was wir im Tagesgeschäft brauchen – zügige Antworten für mehrere Kollegen –
ist er die falsche Bauform.
Vorgeschlagenes Vorgehen
1
Drei Monate mieten statt sofort kaufen.
Ein Server im deutschen Rechenzentrum kostet ab 184 € im Monat und ist monatlich kündbar.
Damit messen wir im echten Betrieb, welche Modellgröße wir wirklich brauchen und wie viele
Kollegen tatsächlich gleichzeitig arbeiten – statt es zu schätzen.
2
Datenschutz ist dabei schon gelöst.
Unsere Projektdaten bleiben im Büro. Übertragen wird nur der jeweilige Anfragetext,
verschlüsselt, an einen dedizierten Server in Deutschland – kein US-Anbieter, kein geteiltes System.
3
Danach gezielt kaufen.
Auf Basis der Messwerte entweder eine RTX PRO 5000 (~4.600 €) oder direkt die
RTX PRO 6000 (~8.900 €). Beide sind später um eine zweite Karte erweiterbar,
wenn das Büro wächst – der Spark ist das nicht.
4
Zum Zeitpunkt:
Speicherbausteine sind derzeit wegen der weltweiten KI-Nachfrage ungewöhnlich teuer.
Wer jetzt kaufen muss, zahlt Aufschlag. Ein weiterer Grund, die Entscheidung
mit einer Mietphase um ein Quartal zu verschieben.