KI-Abfragen völlig lokal auszuführen ist für viele aus Vertraulichkeitsgründen interessant. Gute KI braucht dafür schnelle Rechenleistung und sehr viel RAM mit hoher Bandbreite. Seltsamerweise sind dafür bisher Apples M-Serie Max und Ultra Rechner die preiswerteste Lösung. Wird NVIDIA mit ihrem Anfang Jänner 2025 angekündigten DGX Spark (vormals Project DIGITS) dazu endlich eine gute Alternative bieten?
Das zentrale für schnelle, lokale KI-Abfragen sind gute Rechenleistung, aber vor allem viel RAM (min. 92GB) mit hoher Bandbreite (mindestens 250GB/s). Klassische PC-Systeme und die meisten Server haben zu wenig RAM Bandbreite (meist nur bis 100GB/s). NVIDIA Grafikkarten wären perfekt geeignet, aber deren Preis mit großem RAM ist extrem hoch – beispielsweise kostet eine 92GB RAM Konfiguration von NVIDIA Grafik/KI-Beschleunigern derzeit über 8.000 EUR (+MWSt.). Damit hat sich eine Marktlücke für Systeme entwickelt, die von Apple besetzt wird.
NVIDIA will nun diese Marktlücke ab dem Sommer 2025 mit dem neuen Produkt DGX Spark adressieren. DGX Spark wurde mit kleinem Gehäuse, ähnlich einem aktuellen Mac mini, hoher Rechenleistung, 128GB schnellem RAM, schneller Cluster-/Netzwerkverbindung, voller NVIDIA Softwarekompatibilität und einem Preis ab 3.000$ (excl. Zoll/Steuern) angekündigt.
In der bestehenden Marktnische bietet aktuell beispielsweise Apples M4 Max mit 128 GB Arbeitsspeicher (z.B. als Mac Studio um ca. 5.000 EUR +MWSt.) ein attraktives Preis-Leistungs-Verhältnis – insbesondere im Vergleich zu klassischen PC-Server KI-Systemen. Und er ist klein, verbraucht mit max. 145W wenig Strom, kann damit direkt auf Arbeitsplätzen stehen. Alternativ würde eine PC-Workstation mit ultraschnellen nur 64GB NVIDIA Karten jenseits der 10.000 EUR kosten, mit einer Leistungsaufnahme bis 2.000W – durchaus tauglich als Heizlüfter, aber weniger für einen Bürobetrieb. Apple liefert für diese 10.000 EUR bereits einen M3 Ultra mit 512GB RAM und nur 280W Stromverbrauch. Die bestehenden, teuren NVIDIA KI-Systeme sind zwar beim KI-Lernen drastisch schneller, aber für KI-Abfragen nur etwa 2-3x schneller als die Macs, was für viele firmeninterne Anwendungsfälle ausreicht.
NVIDIA DGX Spark ist noch nicht am Markt – die ersten Lieferungen sind für Sommer 2025 geplant. DGX Spark konnte damit noch nicht getestet werden. Wie sehen aber die bekannten Informationen dieses Produkt vs. den Macs aus?
DGX Spark: Billiger, aber mit kleiner Speicherbandbreite
DGX-Spark ist mit 128GB um ca. 3.000$ deutlich billiger als die derzeit ca. 5.000 EUR (+MWSt). eines 128GB M4 Max Mac Studio. Laut den Spezifikationen verfügt DGX Spark aber nur über ein 256-Bit breites LPDDR5X-RAM-Subsystem mit einer Bandbreite von 273 GB/s – halb so schnell wie ein M4 Max und eigentlich nur einem M4 Pro entsprechend (der billiger ist, aber nur max. 64GB unterstützt).
Insbesondere für KI-Abfrageaufgaben (LLM-Inference) stellt die geringe Speicherbandbreite eine Schwäche dar, da die Token-Generierung im Single-User-Betrieb primär durch die verfügbare Speicherbandbreite limitiert wird. Es ist daher bei DGX Spark mit einer KI-Antwortgeschwindigkeit zu rechnen, die eher der eines M4 Pro entspricht, und etwa der halben Leistung eines M4 Max bzw. einem Drittel eines M3 Ultra. Dies ist gerade im Kontext moderner „Reasoning“-Modelle relevant, die weit mehr Tokens pro Anfrage erzeugen.
Vorteile bei fp4/fp8 Quantisierung (Bilderzeugung,…)
Die modernen Rechenformate fp4 und fp8 ermöglichen eine drastische Reduktion des Speicherbedarfes und parallel dazu auch eine schnellere Abarbeitung, weil weniger Daten vom Speicher gelesen werden müssen. Dies ist insbesondere für KI-Bildgenerierungsmodelle wie FLUX.1 oder Stable Diffusion von Vorteil.
Die neuen NVIDIA Grace-Blackwell-Chips, welche auch in DGX Spark verwendet werden, unterstützen diese Formate, wogegen Apple aktuell keine Unterstützung dafür anbietet.
Das Gehäuses limitiert die Rechengeschwindigkeit
KI-Berechnungen erfordern vor allem beim Lernen und beim analysieren der Fragestellung (Prompts) enorme Rechenleistung. Diese hohe Rechenleistung erfordert aber auch einen hohen Stromverbrauch – welcher in den Chips nicht bloss in Ergebnisse sondern physisch in Wärme umgesetzt wird. Damit der Rechner nicht überhitzt, muss diese Wärme – z.B. über ein Lüftungsgebläse an die Umgebung abgegeben werden. Die Gehäusegröße und -technologie bestimmt, wie viel der vom Rechner als Wärme “verbrauchte” Leistung an die Umgebung abgegeben werden kann. NVIDIA spezifiziert dies für DGX Spark mit maximal 170W – in einem ca. 15x15x5cm großen Gehäuse mit externem, über USB-C angeschlossenem Netzteil.
Diese 170W sind dramatisch weniger als die über 500W der bisherigen, vergleichbaren NVIDIA Systeme. Damit kann DGX Spark nur einen Bruchteil der Leistungsfähigkeit dieser Systeme erreichen. Wie viel kann DGK Spark im Vergleich zu den Macs leisten?
Die 170W Leistungsaufnahme von DGX Spark liegen leicht über dem M4 Max (145 W) und deutlich unter dem M3 Ultra (270 W), wobei der Mac Studio insgesamt bis zu 480 W aufnehmen könnte.
Meine Vergleiche des energieeffizienten NVIDIA Jetson Orin NX und Apple M-Serie Systemen zeigen, dass der Jetson NX bei vergleichbarem Stromverbrauch zum M4 Pro eine leicht höhere Token-Rate beim Prompt-Processing liefert. D.h. bei gleicher Energieaufnahme scheint NVIDIA eine schnellere, für KI-Aufgaben wie Prompt-Processing geeignete, Rechenleistung liefern zu können.
Daraus lässt sich schließen, dass DGX Spark – zumindest in der Dauerleistung für rechenintensivere Aufgaben wie die anfängliche Anfrage/Prompt-Verarbeitung der KI – zwischen der Leistung eines M4 Max und eines M3 Ultra liegen dürfte.
Clusterfähigkeit und Skalierbarkeit
Ein klarer Vorteil von DGX Spark ist die Skalierbarkeit: Die Integration von NVLink erlaubt die Kopplung von Systemen. Das verbaute ConnectX-7 Interface bietet eine Bandbreite von bis zu 200 GB/s – ein Vielfaches dessen, was Apple mit Thunderbolt 5 bereitstellt. Es ermöglicht auch direkte Speicherzugriffe in Clustern und eröffnet neue Optionen für den Betrieb von KI-Modellen mit über 100GB und bis 200GB Speicherbedarf – vor allem von Mixture-of-Experts (MoE) KI-Modellen, bei denen für jedes Token nur ein Teil der gesamten KI-Modell Parameter verwendet wird.
NVIDIA Software als entscheidender Differenzierungsfaktor
Während Apple im Bereich KI-Hardware überzeugt, liegt eine zentrale Schwäche von Apple im Software-Ökosystem. NVIDIA kann hier mit einer weit besseren eigenen und Fremdfirmen Software-Unterstützung punkten:
- CUDA vs. MPS/MLX: Apples MPS unterstützt moderne Formate wie fp8/fp4 nicht. Apples MPS und MLX Frameworks bieten bereits eine gute Softwareunterstützung, NVIDIAs CUDA ist aber drastisch mehr verbreitet.
- Virtualisierung: Der fehlende native Support für GPU-Virtualisierung unter macOS stellt einen erheblichen Nachteil dar – z. B. für sicherheitskritische Entwicklungsumgebungen.
- NVIDIA AI Enterprise: NVIDIA investiert massiv in die Bereitstellung einer robusten KI-Softwareplattform, die auf modulare Skalierbarkeit und Wiederverwendbarkeit ausgelegt ist. DGX Spark ist auf die Nutzung dieser Infrastruktur ausgelegt und ermöglicht so die Migration auf größere Systeme oder NVIDIA-basierte Cloudlösungen.
Fazit: Ein möglicher Wendepunkt?
Mit DGX Spark positioniert sich NVIDIA in einem bislang von Apple dominierten Segment. Die Kombination aus guter Softwareunterstützung, Virtualisierungs-/Container- und Clusterfähigkeit macht das System besonders für Entwickler und Unternehmen mit Fokus auf lokaler, kleiner KI-Infrastruktur attraktiv. Der Einstiegspreis von rund 3.000 USD für ein 128 GB RAM-System ist wettbewerbsfähig.
Für langjährige Apple-Nutzer könnte DGX Spark einen Wendepunkt darstellen – oder zumindest einen Einstieg in die CUDA- und AI-Container-Welt von NVIDIA.
Die Zukunft – es wird “unten” billiger!
Mit einem ähnlichen, modularen, billigeren Mini-PC mit AMD-Technologie (AMD Ryzen™ AI Max 395, 128GB RAM, ab 2.000 EUR +MWSt.) wird die Firma Framework ab Spätsommer einen weiteren Konkurrenten für diesen Markt liefern – halt ohne CUDA, und mit wahrscheinlich “nur” einer M4 Pro vergleichbaren Rechenleistung.
Die zweite Jahreshälfte 2025 wird spannend!
- Über den Autor
- Artikel
Retired Techie/Consultant/Marketer/Manager/Photographer. I enjoyed combining my technical background with marketing, analytics-insights and leadership to drive for business results. It also seems, that I have an eye for the beauty in people and photographic language.