Ich verwenden gerne ChatGPT, Copilot & Co. Wie siehts aber damit aus, wenn ich beispielsweise vertrauliche Dokumente von der KI analysieren lassen will? Dafür wäre eine Text-KI interessant, die ohne Cloud und nur bei mir lokal am Computer läuft. Dieser Artikel erklärt, wie’s geht.

Im Jahr 2023 verbrauchten, laut Daten des US-Energieministeriums, die Rechenzentren in den USA etwa 175 TWh Strom – rund 4,4 % des gesamten Energieverbrauchs des Landes. Schätzungsweise entfiel etwa ein Drittel davon, also etwa 1,5 % des Gesamtverbrauchs, auf KI-Rechenzentren – und dieser Anteil wächst rasant. Aktuelle Prognosen gehen davon aus, dass KI bis 2028 zwischen 3–6 % des gesamten US-Energieverbrauchs ausmachen könnte. Und das ist ohne Berücksichtigung der zunehmenden Energiekosten durch KI auf Endgeräten oder den notwendigen Internet-/Kommunikationsnetzwerken. Wird unsere KI-Nutzung alle globalen Energiespar-Ziele über den Haufen werfen und die globale Erwärmung weiter verschärfen?

KI-Abfragen völlig lokal auszuführen ist für viele aus Vertraulichkeitsgründen interessant. Gute KI braucht dafür schnelle Rechenleistung und sehr viel RAM mit hoher Bandbreite. Seltsamerweise sind dafür bisher Apples M-Serie Max und Ultra Rechner die preiswerteste Lösung. Wird NVIDIA mit ihrem Anfang Jänner 2025 angekündigten DGX Spark (vormals Project DIGITS) dazu endlich eine gute Alternative bieten?

Die KI kann ja nicht nur spielerische Dinge wie Bildchen erzeugen oder Aufsätze schreiben. Sie ist bereits gut als erklärender Assistent brauchbar. Dieser Assistent kann nicht nur Texte lesen, sondern auch komplexe Inhalte in Bildern erkennen und erklären.

Klassische KI-Modelle – so wie auch das Anfang März 2025 vorgestellte, neue GPT-4.5 – antworten “spontan”, ohne über die Antwort irgendwie “nachzudenken”. Damit kommen wir rasch zu Ergebnissen, aber für komplexere Fragen eignet sich diese Strategie nur bedingt. OpenAI hat im September 2024 mit OpenAI O1 eine KI vorgestellt, welche vor dem Antworten “nachdenkt” (englisch: reasoner-AI). Diese Art von KI liefert bei komplexen Fragen weit bessere Antworten als die klassische KI, ist aber auch weit langsamer bzw. aufwändiger. Die neue Chinesen-KI hat diese Art von KI nun breiter zugänglich gemacht. Wie funktioniert sie, und was bringt’s?