<\/i><\/b><\/p>\n
Je digitaler die Welt wird, umso menschlicher m\u00fcssen wir werden.\u00a0<\/i><\/strong><\/p>\n Wir als gemeinn\u00fctziger Verein nehmen unseren Mitgliedern die Angst vor der\u00a0digitalen Transformation<\/a>. Wir machen neue\u00a0Technologien<\/a>\u00a0verst\u00e4ndlich und helfen dabei, die Chancen zu nutzen und die Risiken zu minimieren<\/span><\/i><\/b><\/p>\n [\/et_pb_text][\/et_pb_column][et_pb_column type=”1_4″ _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][et_pb_image src=”https:\/\/digisociety.ngo\/wp-content\/uploads\/sites\/23\/2021\/11\/Technology.png” title_text=”Technology” _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_image][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Die Veranstaltung hat am Dienstag den 26.9.2023 gemeinsam mit unserem Partnerverein ClubComputer.at stattgefunden und wurde Aufgezeichnet. Die Videoaufzeichnung und der zugeh\u00f6rige Artikel sind f\u00fcr unsere Mitglieder hier kostenlos abrufbar.<\/p>\n F\u00fcr mich ist das Wesentliche an der neuen bzw. aktuellen K\u00fcnstlichen Intelligenz (KI<\/a>), dass mit ihr die Computer zum ersten Mal uns Menschen gut verstehen \u2013 die Bedeutung verstehen, was wir schreiben, wir sagen und sogar, was wir zeichnen. Und damit k\u00f6nnen sie uns nun auch gut Antworten \u2013 mit Text, Sprache, Bildern, etc., aber auch unmittelbar mit Programmfunktionen. In diesem Artikel beschr\u00e4nke ich mich nur auf die sog. generative KI<\/a>, d.h. eine KI<\/a>, die etwas (Texte, Sprache, Bilder, \u2026) erzeugt.<\/p>\n Die KI<\/a> ist im Verhalten anders, als wir es bisher von Computern und auch Menschen kennen. Diese, auf englisch AI<\/a>, bedeutet nicht nur Artificial Intelligence<\/a>, sondern auch Alien Intelligence, weil sie sehr anders zu uns und unseren bisherigen Erfahrungen mit unseren Computern ist.<\/p>\n Ich versuche hier das funktionale, technische \u201eWarum\u201c daf\u00fcr grob verst\u00e4ndlich zu machen, damit Ihr mit den aktuellen und absehbar kommenden KI<\/a>-Anwendungen besser umgehen k\u00f6nnt. Auf die philosophischen, kommerziellen, politischen, etc. Aspekte gehe ich nicht ein.<\/p>\n <\/p>\n [\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.22.1″ _module_preset=”default” memberpress_rule=”33451″ memberpress_unauthorized_message=”<\/p>\n Die Videoaufzeichnung der Veranstaltung ist nur f\u00fcr Mitglieder der Digital Society hier abrufbar.<\/p>\n Werden Sie Mitglied<\/a><\/strong> um auf die Inhalte der DigiThek zugreifen zu k\u00f6nnen.<\/p>\n ” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][et_pb_video src=”https:\/\/player.vimeo.com\/video\/866815404?h=7b96c21c10&badge=0&autopause=0&player_id=0&app_id=58479%22 frameborder=%220%22 allow=%22autoplay; fullscreen; picture-in-picture%22 style=%22position:absolute;top:0;left:0;width:100%;height:100%;%22 title=%2220230919-Grundlagen-KI<\/a>-Andi-Kunar” _builder_version=”4.22.1″ _module_preset=”default” hover_enabled=”0″ global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_video][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.22.1″ _module_preset=”default” memberpress_rule=”33451″ global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.22.1″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n In diesem Artikel versuche ich, Euch die Funktionsweise der KI<\/a> \u00fcber eine Art von KI<\/a>-Computer zu erkl\u00e4ren, nennen wir ihn GGML (die Bedeutung des Namens erkl\u00e4r ich sp\u00e4ter). Ich beschreibe diesen Schritt f\u00fcr Schritt anhand von Elementen, aus denen er besteht. Und vor allem dar\u00fcber, wie sich diese von uns und denen unserer klassischen Computer unter\u00adscheiden \u2013 selbst, wenn sie eigentlich auf klassischen Computern arbeitet. Am Ende gibt\u2019s dann auch weitere Details f\u00fcr die technisch tiefer Interessierten.<\/span><\/p>\n Hergestellt mit Adobe Firefly https:\/\/firefly.adobe.com<\/p><\/div><\/a><\/p>\n <\/p>\n Euer PC, Handy, \u2026 hat eine CPU und Arbeitsspeicher, um Applikationen auszuf\u00fchren. Die CPU arbeitet dabei Schritt f\u00fcr Schritt die Anweisungen der Apps ab. Der Arbeitsspeicher hilft dabei, dass sich die CPU kurzfristig Dinge merken kann \u2013 f\u00fcrs L\u00e4ngerfristige gibt\u2019s einen Massenspeicher, z.B. SSD, Harddisk, etc. Der klassische Computer merkt sich nichts, wenn es nicht in den Arbeitsspeicher geschrieben wird. Mit dem Ende der Applikation wird der zugeh\u00f6rige Arbeitsspeicher gel\u00f6scht. Es gibt auch eine Ein-\/Ausgabe \u2013 Displays, Lautsprecher, Tastatur, Mikrofon, Kamera, \u2026 Der Computer verarbeitet intern ja nur Bin\u00e4rdaten.<\/p>\n Wie sieht das nun beim KI<\/a>-Computer aus?<\/p>\n Unser KI<\/a>-Computer versteht und verarbeitet nur Zahlen \u2013 keine Texte, Tonsignale, Bilder wie unser klassischer Computer, dieser muss sie dem KI<\/a>-Computer \u00fcbersetzen. F\u00fcr die Ein-\/Ausgabe wird die reale Welt in Zahlen, sog.\u00a0<\/span>Token<\/em>s, umgewandelt bzw. von Tokens aus zur\u00fcckge\u00adwandelt. Token sind z.B. Wortteile, Frequenzspektrum Elemente, \u2026 z.B. auf\u00a0<\/span>https:\/\/platform.openai.com\/tokenizer<\/a>\u00a0<\/span>k\u00f6nnt Ihr mit einem solchen Tokenizer zur Umwandlung von Texten auf Tokens experimentieren. Die Token-Umwandlung und -Bedeutung ist spezifisch f\u00fcr die KI<\/a>-Anwendung. Sie ist meist statistisch ermittelt (d.h. keine Silben, \u2026).<\/p>\n Warum ist \u201eToken\u201c wichtig? Die KI<\/a> kennt nur Tokens, und z.B. die Anzahl der verarbeitbaren Tokens ist ein wesentliches Limit bei der KI<\/a>-Verarbeitung. Ich versuche die n\u00f6tigen KI<\/a>-Fachbegriffe im Text\u00a0<\/span>hervorgehoben<\/em>\u00a0<\/span>darzustellen<\/p>\n Die CPU mit dem Arbeitsspeicher unseres KI<\/a>-Computers verarbeitet dann diese Tokens, um aus einer Eingabe aus Tokens ein Ergebnis aus Tokens zu erzeugen \u2013 z.B. Fragetext zu Antworttext, oder Sprache zu Text. Das Programm ist dabei unserem Gehirn nachempfunden. Es ist ein\u00a0<\/span>k\u00fcnstliches Neuronales Netzwerk<\/em>\u00a0<\/span>\u2013 eine Anordnung von nebeneinander und hintereinander dicht verbundenen\u00a0<\/span>k\u00fcnstlichen Neuronen<\/em>\u00a0<\/span>(siehe Abb. 1).<\/strong><\/p>\n <\/strong><\/p>\n Abbildung 1 \u2013 k\u00fcnstliche Neuronale Netze (Quelle: Wikipedia)<\/p><\/div>\n <\/p>\n Die einzelnen Neuronen verarbeiten dabei die Zahlen an ihren Eing\u00e4ngen mit mathematischen Funktionen zu einer Zahl an ihrem Ausgang. Dieser Ausgang bildet wieder die Eing\u00e4nge f\u00fcr andere Neuronen im Netzwerk. Die mathematischen Funktionen im Neuron sind verschiedene, z.B. Addition, Multiplikation aber auch z.B. tanh. Diese Funktionen haben intern sog.\u00a0<\/span>Parameter<\/em>\u00a0<\/span>(Zahlen) um die Funktion zu steuern. Die Werte dieser Parameter bestimmen eigentlich die \u201eIntelligenz\u201c des Neurons bzw. des Neuronalen Netzwerkes. Und die Parameter werden nicht von Menschen programmiert, sondern vom KI<\/a>-Computer gelernt (\u00fcber\u00a0<\/span>Machine Learning<\/em>, mehr dazu sp\u00e4ter), die Art und Anordnung der Neuronen im Netzwerk wird hingegen programmiert.<\/p>\n Alle diese Zahlen sind aber nicht nur einfache Zahlen, sondern auch Vektoren und mehrdimensionale Matrizen von Gleitkommazahlen \u2013 allgemein sog.\u00a0<\/span>Tensor<\/em>(s). D.h. die CPU (inkl. Hauptspeicher) unseres KI<\/a> Computers verarbeitet eigentlich Tensors \u2013 unser eigentliches KI<\/a>-Programm ist damit eine Folge von Tensor-Verarbeitungsinstruktionen (technisch ein Graph).<\/p>\n Die Tensor-Verarbeitungsinstruktionen bilden gemeinsam mit den Parametern und den Token-Bedeutungen das \u201eProgramm\u201c des KI<\/a>-Computers \u2013 ein sog.\u00a0<\/span>KI<\/a>-Modell<\/em>\u00a0<\/span>(engl. AI<\/a>-Model, wie z.B. GPT-4 dem Model hinter chatGPT, oder LLaMa, \u2026). Diese Modelle sind gro\u00dfe Dateien, welche vom KI<\/a>-Programm des klassischen Computers von der SSD, Harddisk, \u2026 geladen werden. Die Ausf\u00fchrung dieser Modelle erfolgt im Arbeitsspeicher. Das Modell kann bei der normalen Ausf\u00fchrung nichts speichern, es muss daf\u00fcr ein eigener Lernmodus gestartet werden, dieser kann aber dann nur lernen<\/a>.<\/p>\n Aktuell sind die \u00fcblichen KI<\/a> Netzwerkstrukturen sog.\u00a0<\/span>Transformer<\/em>\u00a0<\/span>(von Google, 2017), und wir besch\u00e4ftigen uns hier nur mit diesen. Transformer verhalfen der KI<\/a> zum Durchbruch im letzten Jahr nach vielen Jahren. chatGPT z.B. ist eine Abk\u00fcrzung f\u00fcr chat mit einem Generative Pretrained Transformer. Das faszinierende an Transformern ist, dass sie vergleichsweise einfach zu verarbeiten sind, und auch deutlich einfacher lernen<\/a> als ihre Vorl\u00e4ufer. Sie liefern gute Ergebnisse f\u00fcr Text, Bilder, Video, \u2026 und konnten damit die daf\u00fcr vorher komplett verschiedenen Forschungs\u00adrichtungen der KI<\/a> vereinen.<\/p>\n Mehr Details zu Transformern gibt es z.B. in meinem ClubComputer Vortrag am 19.9.23.<\/p>\n KI<\/a>-Modelle sind sehr gro\u00df, z.B. gute Textgenerierungsmodelle (Large Language Models\u00a0<\/span>LLM<\/em>s) haben 1010<\/sup>, (LLaMa) bis 1012<\/sup>\u00a0<\/span>(GPT-4) Parameter. Diese sind eigentlich Gleitkommazahlen (4 Byte bzw. mit reduzierter, aber ausreichender Genauigkeit 2 Byte gro\u00df) und haben damit 20GB bis einige TB-Speicherbedarf. Ein Beispiel f\u00fcr eine Tensor-Verarbeitungs\u00adinstruktion ist eine Matrixmultiplikation von einem 4096\u00d71 Tensor mit einem 4096\u00d74096 Tensor und dem Resultat eines 4096\u00d71 Tensors. F\u00fcr einen Taschenrechner w\u00e4ren das 16\u2018777\u2018261 Multiplikationen und dann beinahe ebenso viele Additionen. Dies ist sehr aufwendig, aber eignet sich ideal zum Ausf\u00fchren auf GPUs (Nvidia, AMD, \u2026). Diese GPUs k\u00f6nnen oft tausende Operationen gleichzeitig ausf\u00fchren. Damit brauchen wir f\u00fcr die KI<\/a> aber idealerweise GPUs mit sehr viel schnellem VRAM \u2013 20GB f\u00fcr kleine, gute Modelle und bis zu einigen TB f\u00fcr chatGPT-\u00e4hnliche.<\/p>\n Die CPU und Arbeitsspeicher des physischen Computers f\u00fcr unseren KI<\/a>-Computer ist damit \u00fcblicherweise ein guter PC mit einer modernen Grafikkarte (idealerweise mindestens 24GB VRAM). Mit einem KI<\/a>-Programm, welches die Token-Umwandlung, Steuerung und die Tensor-Instruktionen f\u00fcr die GPU ausf\u00fchrt. Wenn der KI<\/a>-Computer nichts lernen<\/a> muss (das warum dazu folgt sp\u00e4ter) bzw. die Verarbeitung l\u00e4nger dauern darf, dann reicht auch ein kleiner PC. Moderne Handys, neue Macs, \u2026 haben zur Beschleunigung kleinerer KI<\/a>-Modelle eigene Hardware (TPU, NPU, \u2026) eingebaut, aber nur f\u00fcr die einfacheren Abfragen eines Modells, z.B. f\u00fcr KI<\/a>-Bildverbessering, Spracherkennung.<\/p>\n Euer Handy, PC, \u2026 speichert Bilder, Texte, usw. im Speicher oder Massenspeicher (SSD, Hard\u00addisk, \u2026), damit Ihr sie z.B. anschauen und lesen k\u00f6nnt \u2013 speichern und auslesen ist einfach (sofern man etwas findet).<\/p>\n Der Speicher unseres KI<\/a>-Computers ist anders \u2013 die Parameter des KI<\/a>-Modells sind hier unser Speicher. Dieser Speicher ist aber \u00e4hnlich unserem Ged\u00e4chtnis \u2013\u00a0<\/span>er kann nichts Neues speichern, sondern er lernt<\/em>. Auch die Abfrage des Speichers ist anders, er wird\u00a0<\/span>\u00fcber \u00e4hnliche Inhalte ausgelesen<\/em>, z.B. als Antwort auf eine Frage.<\/p>\n Dieses lernen<\/a> ist, so wie f\u00fcr uns Menschen, m\u00fchsam und zeitraubend. Aber anders als wir vergisst der Speicher nicht, und einmal angelernt, kann er sehr schnell auf neue KI<\/a>-Computer kopiert werden (das geht bei uns Menschen nicht so einfach). Die Abfrage des Speichers ist im Vergleich zum Anlernen viel schneller \u2013 z.B. eine Sekunde zum Abfragen eines Antwortsatzes, vs. Stunden, um einen \u00e4hnlich langen Satz auf einem gleichartigen Computer anzulernen. Ich kann mich Gott sei Dank nicht mehr erinnern, wie lange ich zum Auswendiglernen der B\u00fcrgschaft von Schiller gebraucht habe, aber ich hoffe, das Verh\u00e4ltnis von lernen<\/a> zum aufsagen K\u00f6nnen war bei mir weit besser!<\/p>\n Dieser angelernte Speicher hat noch eine Eigenheit \u2013 er speichert v\u00f6llig anders als ein normaler Computerspeicher \u2013 nicht direkt, sondern \u00fcber eine\u00a0<\/span>selbst erkannte Bedeutung und Zusammenh\u00e4nge<\/em>. Die Bedeutung und Zusammenh\u00e4nge der Parameter sind f\u00fcr uns Menschen nicht erkennbar, sie sind eine \u201eBlack Box\u201c, selbst wenn wir die eigentlichen Parameterzahlen im Speicher sehen k\u00f6nnen. Das Gelernte wird bei einer Abfrage dann nicht direkt ausgelesen, sondern wieder zusammengesetzt.<\/p>\n Aber das\u00a0<\/span>Abfrageergebnis ist nicht direkt identisch zum Gelernten<\/em>, sondern beim Abfragen liefert das Neuronale Netzwerk eigentlich mehrere statistisch wahrscheinliche Ergebnisse. Im Detail werden bei der Abfrage die Ergebnisse Token um Token, und mit f\u00fcr das jeweilig n\u00e4chste Token-Ergebnis verschiedenen Werten samt Trefferwahr\u00adscheinlich\u00adkeiten zusammen\u00adgesetzt. Manchmal wird \u201egew\u00fcrfelt\u201c, wenn die Wahrschein\u00adlich\u00adkeiten f\u00fcr das n\u00e4chst\u00adfolgende Token \u00e4hnlich sind. F\u00fcr Techies ist diese Zufallsauswahlschwelle einstellbar, d.h. ab welchem Wahrscheinlichkeitsunterschied gew\u00fcrfelt wird. Sie hei\u00dft\u00a0<\/span>temperature\u00a0<\/span><\/em>\u2013 engl. f\u00fcr Fieber, bei hohem gibt\u2019s ja oft Halluzinationen \u2013 eine KI<\/a> mit Fieber ist ein sehr kreativer \u201eG\u2019schichtlerfinder\u201c.<\/p>\n Wie funktioniert das bei unserem GGML KI<\/a> Computer in einem Beispiel:<\/p>\n \u00b7\u00a0Die Antwort aus dem KI<\/a> Speicher beginnt als 1. Token mit zwei Alternativen: Das hei\u00dft, die Antwort ist hier inhaltlich korrekt, aber ev. nicht ganz genauso wie angelernt. Und nicht immer gleich<\/em>.<\/p>\n Das ist eben sehr anders als ein normaler Computerspeicher, der uns (hoffentlich) immer genau das Gespeicherte liefert. Aber die Abfrage des Speichers ist auch Teil einer KI<\/a>, d.h. es muss nicht exakt so wie angelernt abgefragt werden (siehe unser Beispiel), der Speicher ist \u00fcber die Bedeutung abfragbar!<\/p>\n Wie siehts aus, wenn eine Frage so eigentlich nicht im Speicher ist? Es werden in den Parametern des Neuronalen Netzes ja keine Texte, Bilder, \u2026 gespeichert, sondern nur selbst gelernte Zusammenh\u00e4nge und Bedeutungen. Und aus diesen ergeben sich dann unerwartete F\u00e4higkeiten, speziell bei gro\u00dfen KI<\/a>-Modellen mit vielen Parametern:<\/p>\n Zur Wiederholung, intern liefert die KI<\/a> mit den Parametern aus dem Speicher ja immer nur Sch\u00e4tzwerte f\u00fcrs n\u00e4chste Token, und diese passend zu den Tokens der Frage und den bisherigen Tokens der Antwort. Die KI<\/a> kann nicht vorausplanen, sie erkennt aber unglaublich gut die gelernten und vielfach abstrahierten Muster und w\u00e4hlt dar\u00fcber aus.<\/p>\n Der aktuelle Stand der Forschung ist, dass die KI<\/a>-Forscher nicht verstehen, warum diese riesengro\u00dfen Neuronalen Netze aus Transformer Technologie<\/a> solche unerwarteten F\u00e4higkeiten entwickeln. Und die F\u00e4higkeiten von neuen, gr\u00f6\u00dferen Modellen sind aktuell nicht vorhersehbar und planbar. Das ist einer der Gefahrenpotenziale der KI<\/a>.<\/p>\n Ein weiterer gro\u00dfer Unterschied des KI<\/a>-Speichers ist aber auch leider, dass es auf eine Anfrage kein \u201eich wei\u00df nicht\u201c gibt, sie wird immer beantwortet.\u00a0<\/span>Unser KI<\/a> Computer Speicher wei\u00df nicht, wenn er nichts wei\u00df\u00a0<\/span><\/em>\u2013 Sokrates h\u00e4tte keine Freude damit!<\/p>\n Wir bekommen aus unserem KI<\/a> Computer IMMER eine Antwort, diese ist aber ev. v\u00f6llig falsch, klingt aber wahrscheinlich grammatikalisch richtig und durchaus glaubw\u00fcrdig \u2013 unsere KI<\/a> hat ja unsere Sprache und gro\u00dfe Teile des Internets perfekt gelernt. Das bezeichnet man dann als\u00a0<\/span>Halluzination<\/em>\u00a0<\/span>der KI<\/a>. Dieses massive Problem ist aktuell einer der wichtigsten Forschungsbereiche der KI<\/a>.<\/p>\n Ein Beispiel:<\/em>\u00a0<\/span>Bei mir ist die Antwort auf die Frage \u201eWie lautet die erste Strophe der B\u00fcrgschaft?\u201c sofort \u201eIch wei\u00df sie nicht mehr ganz, nur den Anfang\u201c. Unser KI<\/a> Computer Speicher liefert immer ein Ergebnis. Hier z.B. chatGPT:<\/p>\n Zu Dionys, dem Tyrannen, schlich Nach dem anscheinend Gelernten der ersten drei Zeilen geht es nahtlos in die Halluzination basierend auf den gelernten Mustern!<\/p>\n Aber wie lernt unser KI<\/a> Computer Speicher? Die Parameter bestimmen die Intelligenz des Neuronalen Netzwerkes und werden angelernt.<\/p>\n Das Anlernen der Parameter erfolgt dar\u00fcber, dass dem Neuronalen Netzwerk Beispiel um Beispiel vorgesetzt wird, das es auswendig lernen<\/a> soll. Es fragt dazu den bestehenden Speicher mit dem ersten Beispiel ohne dessen letztes Token als \u201eSoll\u201c ab, und vergleicht das Ergebnis-Token, d.h. \u201eIst\u201c mit diesem \u201eSoll\u201c. Wenn \u201eIst\u201c nicht mit \u201eSoll\u201c \u00fcbereinstimmt, berechnet es die Abweichung und versucht es mit daraus ge\u00e4nderten Parametern des Neuronalen Netzes nochmals. Solange, bis das Ergebnis \u00fcbereinstimmt. Dann wird das n\u00e4chste Beispiel verwendet.<\/p>\n Ein Anlernbeispiel w\u00e4re wieder mal Asimov:<\/p>\n \u201eThe Second Law of Robotics\u201c\u2026<\/em><\/p>\n Dies wird in folgende Unterbeispiele zum Anlernen unterteilt:<\/p>\n 1.\u00a0\u201eThe\u201c\u00a0<\/span><\/em>als Eingabe soll\u00a0<\/span>\u201e Second<\/em>\u201c liefern,<\/p>\n 2.\u00a0\u201eThe Second\u201c\u00a0<\/span><\/em>als Eingabe soll\u00a0<\/span>\u201e Law\u201c\u00a0<\/span><\/em>liefern,<\/p>\n 3.\u00a0\u201eThe Second Law\u201c\u00a0<\/span><\/em>als Eingabe soll\u00a0<\/span>\u201e of\u201c\u00a0<\/span><\/em>liefern,<\/p>\n 4.\u00a0\u201eThe Second Law of<\/em>\u201c als Eingabe soll\u00a0<\/span>\u201e Robotics\u201c\u00a0<\/span><\/em>liefern<\/p>\n 5.\u00a0\u2026<\/p>\n Jedes der Unterbeispiele wird durchs Neuronale Netz mit den aktuellen Parametern geschickt, und die Abweichung vom Sollwert wird berechnet. Daraus werden die Parameter\u00e4nderungen ermittelt und wiederholt, bis das Ergebnis mit dem Soll \u00fcbereinstimmt.<\/p>\n Noch zur Komplexit\u00e4t des Parameter-\u00c4nderungen-Ermittelns: Das mag einfach klingen, aber bei den z.B. 1010<\/sup>-1012<\/sup>\u00a0<\/span>Parametern der \u00fcblichen Modelle ist es sehr schwierig herauszufinden, welche Parameter um wieviel ge\u00e4ndert werden sollen. Technisch funktioniert das meist dar\u00fcber, dass die mathematischen Funktionen des Neuronalen Netzes differenziert werden und dann das Neuronale Netz von Richtung Ergebnis her mit der Gr\u00f6\u00dfe der Soll-Ist Abweichung (loss<\/em>) und diesen differenzierten Funktionen durchgerechnet wird (back-propagation<\/em>). Damit werden dann die Parameter gering ver\u00e4ndert. Die g\u00e4ngigen Tensor-Verarbeitungsbibliotheken k\u00f6nnen das automatisiert.<\/p>\n Dies veranschaulicht hoffentlich, warum das lernen<\/a> so viel l\u00e4nger dauert als das Abfragen.<\/p>\n Beispiel:<\/em>\u00a0<\/span>Ein typisches LLM wie z.B. LLaMa von Meta (dem facebook Mutterkonzern) lernte ca. einen Monat auf einem sch\u00e4tzungsweise 50 Mio. EUR teuren Superrechner und einem Strom\u00adverbrauch von 1\u2018500 Haushalten! Und es lernte dabei aus fast einer Billion (1012<\/sup>) W\u00f6rtern des Internets \u2013 gesamtes Wikipedia in verschiedenen Sprachen, Projekt Gutenberg \u2026 (\u00f6ffentlich verf\u00fcgbare B\u00fccher), ArXiv.org (Wissenschaftliche Arbeiten), GitHub und Stack Exchange (Programmierung\/Technik), sowie aus dem allgemeinen Internet (mit einer eigenen KI<\/a> vorsortiert). LLaMa-2 hat auch angelernte Sicherheitsmechanismen.<\/p>\n Aber vom Lernmaterial sind nur ~0,2% deutschsprachige Inhalte. Es spricht damit relativ gut Deutsch, aber hat fast keine deutschsprachige Kultur gelernt. Das ist typisch, und momentan sind damit fast alle KI<\/a>-Modelle meist sehr in Richtung US-Anglikanischem Sprachraum vor\u00adeingenommen (bias<\/em>). Siehe unser Beispiel mit chatGPT und der B\u00fcrgschaft.<\/p>\n Durch das Anlernen des Internets kommen aber auch ggf. illegale Inhalte in das Modell. Alle notwendigen sicherheitsrelevanten Dinge werden dem LLM auch mit angelernt. z.B. GPT-4 lernte viele Monate vor Ver\u00f6ffentlichung und auch noch laufend Sicherheit.<\/p>\n Wichtig ist auch noch, dass, w\u00e4hrend auf dem KI<\/a>-Computer intensiv gelernt wird, nichts abgefragt werden kann.Was ist k\u00fcnstliche Intelligenz?<\/h2>\n
Aufzeichnung des Vortrages<\/h3>\n
Nachlese<\/span><\/h3>\n
![\"\"](\"https:\/\/digisociety.ngo\/wp-content\/uploads\/sites\/23\/2023\/09\/image-11.png\")
Die Elemente des KI-Computers<\/span><\/h2>\n
<\/span>Ein-\/Ausgabe<\/span><\/h2>\n
<\/span>CPU und Arbeitsspeicher<\/span><\/h2>\n
![\"Neuronales](\"https:\/\/digisociety.ngo\/wp-content\/uploads\/sites\/23\/2023\/09\/image-8.png\")
<\/span>Transformer<\/span><\/h2>\n
<\/span>Was ist das Wichtige an Transformern?<\/span><\/h4>\n
\n
<\/span>KI Verarbeitung ist technisch aufw\u00e4ndig<\/span><\/h2>\n
<\/span>Der Speicher des KI Computers \u2013 eigentlich das Ged\u00e4chtnis<\/span><\/h2>\n
\n
1.\u00a0<\/span>\u201eA\u201c\u00a0<\/span><\/em>f\u00fcr\u00a0<\/span>\u201eA robot must obey the orders \u2026\u201c<\/em>\u00a0<\/span>mit ca. 50% Wahrscheinlichkeit,
2.\u00a0<\/span>\u201eRobots\u201c\u00a0<\/span><\/em>f\u00fcr\u00a0<\/span>\u201c<\/em>Robots must obey orders \u2026\u201c,<\/em>\u00a0<\/span>mit fast 50% Wahrscheinlichkeit,
alles andere ist unwahrscheinlich<\/p>\n\n
<\/span>K\u00fcnstliche Intelligenz<\/span><\/h2>\n
\n
<\/span>K\u00fcnstliche Intelligenz & Halluzination<\/span><\/h2>\n
Damon, den Dolch im Gewande,
Ihn schlugen die H\u00e4scher in Bande,
\u2018Grausamer\u2019, rief er, \u2018dich
F\u00fchrt keine Gewalt des Gesetzes
Vor\u2019s Tribunal der Gerechtigkeit.<\/em><\/p>\n<\/span>Machine Learning<\/span><\/h2>\n