Ich verwenden gerne ChatGPT, Copilot & Co. Wie siehts aber damit aus, wenn ich beispielsweise vertrauliche Dokumente von der KI analysieren lassen will? Dafür wäre eine Text-KI interessant, die ohne Cloud und nur bei mir lokal am Computer läuft. Dieser Artikel erklärt, wie’s geht.

Im Jahr 2023 verbrauchten, laut Daten des US-Energieministeriums, die Rechenzentren in den USA etwa 175 TWh Strom – rund 4,4 % des gesamten Energieverbrauchs des Landes. Schätzungsweise entfiel etwa ein Drittel davon, also etwa 1,5 % des Gesamtverbrauchs, auf KI-Rechenzentren – und dieser Anteil wächst rasant. Aktuelle Prognosen gehen davon aus, dass KI bis 2028 zwischen 3–6 % des gesamten US-Energieverbrauchs ausmachen könnte. Und das ist ohne Berücksichtigung der zunehmenden Energiekosten durch KI auf Endgeräten oder den notwendigen Internet-/Kommunikationsnetzwerken. Wird unsere KI-Nutzung alle globalen Energiespar-Ziele über den Haufen werfen und die globale Erwärmung weiter verschärfen?

KI-Abfragen völlig lokal auszuführen ist für viele aus Vertraulichkeitsgründen interessant. Gute KI braucht dafür schnelle Rechenleistung und sehr viel RAM mit hoher Bandbreite. Seltsamerweise sind dafür bisher Apples M-Serie Max und Ultra Rechner die preiswerteste Lösung. Wird NVIDIA mit ihrem Anfang Jänner 2025 angekündigten DGX Spark (vormals Project DIGITS) dazu endlich eine gute Alternative bieten?

Die KI kann ja nicht nur spielerische Dinge wie Bildchen erzeugen oder Aufsätze schreiben. Sie ist bereits gut als erklärender Assistent brauchbar. Dieser Assistent kann nicht nur Texte lesen, sondern auch komplexe Inhalte in Bildern erkennen und erklären.