Wir prüfen, welche Rechenleistung nötig ist, um KI-Werkzeuge im eigenen Haus zu betreiben. Diese Folien stellen vier Varianten nebeneinander – mit Zahlen, Quellen und offenem Ausgang.
Frei verfügbare KI-Modelle haben 2026 ein Niveau erreicht, auf dem sie im Ingenieurbüro praktischen Nutzen stiften – Normrecherche, Berichtsentwürfe, Protokolle, Auswertungen. Parallel dazu schließen immer mehr kommunale Auftraggeber die Verarbeitung ihrer Daten in US-Clouds vertraglich aus.
Wer beides verbinden will, muss die Modelle selbst betreiben. Die offene Frage ist nicht mehr, ob sich das lohnt, sondern auf welcher Grundlage.
Ohne Bedarf keine sinnvolle Hardwarefrage. Diese Aufgaben kommen bei uns realistisch in Betracht, geordnet nach Anspruch.
KI-Modelle unterscheiden sich in der Anzahl gelernter Parameter, angegeben in Milliarden („B"). Vereinfacht ist das ihre Berufserfahrung – sie entscheidet, welche der Aufgaben von eben ein Modell zuverlässig löst.
Die Zuordnung folgt gängigen Fachbenchmarks für Sprachverständnis und logisches Schließen. Der Sprung von 7B auf 14B bringt vor allem besseres Verständnis von Fachsprache, der Sprung auf 70B vor allem Verlässlichkeit bei mehrstufigen Schlussfolgerungen.
Größer ist dabei nicht automatisch besser: Ein 70B-Modell für eine Terminbestätigung einzusetzen, kostet unnötig Rechenzeit. In der Praxis läuft es auf einen Mix hinaus – kleines Modell für Routine, großes für die Fälle, die es rechtfertigen.
Ein Modell muss vollständig in den Grafikspeicher passen. In Originalauflösung überschreitet ein 70B-Modell jede bezahlbare Karte. Deshalb wird es verkleinert.
Die gängige Stufe Q4 behält etwa 96 % der Ausgangsqualität bei einem Drittel des Speicherbedarfs. In Blindvergleichen bei Textaufgaben ist der Unterschied für Anwender kaum erkennbar.
Stärkere Verkleinerung (Q2) halbiert den Bedarf nochmals, kostet aber messbar Zuverlässigkeit. Die volle Auflösung wiederum ist vor allem beim Trainieren eigener Modelle relevant, weniger beim Anwenden.
Für jedes einzelne Wort einer Antwort liest die Maschine das gesamte Modell einmal durch den Speicher. Wie schnell das geht, heißt Speicherbandbreite. Sie ist die wichtigste Kennzahl – und steht in Datenblättern selten vorn.
Das Forschungsteam LMSYS misst am DGX Spark mit einem 70B-Modell 2,7 Wörter pro Sekunde bei einem einzelnen Nutzer. Andere Tests kommen je nach Modell und Software auf 3 bis 5.
Bei einer besonderen Modellbauart („Mixture of Experts") erreicht derselbe Spark 35 bis 50 Wörter pro Sekunde, weil pro Wort nur ein Bruchteil der Daten gelesen werden muss. Zudem liest er lange Dokumente sehr schnell ein und ist das günstigste Gerät am Markt, um eigene Modelle zu trainieren.
Die Werte hängen also stark davon ab, welche Modellart eingesetzt wird und ob es ums Anwenden oder ums Trainieren geht.
Teilen sich Kollegen ein Gerät, verteilt sich das Tempo. Der Regler zeigt, was rechnerisch pro Person bleibt. Die gelbe Marke ist ein Orientierungswert für flüssiges Lesen.
Grundlage ist die Speicherbandbreite geteilt durch die Modellgröße, abzüglich eines Praxisabschlags. Serversoftware bündelt Anfragen, sodass die Gesamtleistung mit mehreren Nutzern steigt – der einzelne Nutzer erhält entsprechend weniger.
Es handelt sich um Größenordnungen, nicht um Garantien: Die Werte schwanken je nach Software, Länge der Anfragen und Modellwahl. Die Rangfolge folgt aus einer physikalischen Größe und bleibt davon unberührt.
Preise deutscher Anbieter, geprüft am 17. September 2026 und über die Links tagesaktuell nachvollziehbar.
Der weltweite KI-Ausbau hat eine Speicherknappheit ausgelöst. NVIDIA hat den Preis der RTX PRO 6000 seit Markteinführung mehrfach angehoben, insgesamt um rund 87 %. Auch der DGX Spark wurde im Februar 2026 aus demselben Grund von 3.999 auf 4.699 US-Dollar verteuert.
Mietpreise sind von dieser Entwicklung bislang nicht betroffen, da die Anbieter ihre Hardware vor der Verteuerung beschafft haben. Wie lange das so bleibt, ist offen.
Keine der vier Varianten ist allgemein besser. Sie unterscheiden sich darin, welche Anforderung sie am besten bedient. Die Übersicht ordnet zu, ohne zu gewichten.
Wie häufig die Werkzeuge tatsächlich genutzt werden und welche Modellgröße sich im Alltag durchsetzt, lässt sich vorab nicht belastbar bestimmen. Beide Größen bestimmen jedoch maßgeblich, welche Variante wirtschaftlich trägt.
Belastbare Antworten liefert nur ein Probebetrieb über einige Wochen – unabhängig davon, auf welcher Grundlage er stattfindet.