nocheinPoet
Profil anzeigen
Private Nachricht
Link kopieren
Lesezeichen setzen

anwesend
dabei seit 2006
dabei seit 2006
Profil anzeigen
Private Nachricht
Link kopieren
Lesezeichen setzen
Künstliche Intelligenz
gestern um 18:00nocheinPoet schrieb:Ein LLM ist ein wenig mehr als ein bisschen Statistik, wenn es so einfach wäre, hätte es nicht so lange gedauert.
Nein, es ist mehr als etwas Statistik und versuche es doch nur auf der Sachebene, wenn Du gleich so ins persönliche gehst, und hier schreiben musst, dass Du den Eindruck hast, ich habe mich nicht wirklich mit der technischen Seite von KI auseinander gesetzt, dann ist das ad hominem, nichts zur Sache. Man könnte meinen, Du findest Deine Sachargumente selber alleine schon für zu schwach und gehst darum noch mal gegen die Person. Oder Du willst einfach sticheln.CharlyPewPew schrieb:Ein LLM, oder zumindest der Part, über den hier geredet wird, ist Statistik. Dass es so lange gedauert hat, liegt nicht an irgendeiner geheimen Intelligenz, sondern schlicht an drei Dingen:
- Rechenleistung: Erst mit modernen GPUs/TPUs konnte man die enormen Matrizen effizient genug berechnen.
- Datenmengen: Die gewaltigen digitalen Textkorpora der letzten 10–15 Jahre haben das Training erst möglich gemacht.
- Architektur: Der eigentliche Durchbruch war die Transformer-Struktur (2017). Davor waren RNNs/LSTMs schlicht zu ineffizient, um Abhängigkeiten über lange Texte hinweg zu modellieren.
Wenn ich die letzten Seiten hier so überfliege, habe ich den Eindruck, dass du dich mit der technischen Seite von KI nicht wirklich auseinandergesetzt hast. Schau dir mal die Codebasis eines Transformers an, dann verfliegt die vermeintliche Magie ziemlich schnell. Vieles, was Medien und Hype gerne mystifizieren, ist letztlich Wahrscheinlichkeitsrechnung in sehr großem Maßstab.
Ach was, und wo hab ich etwas anderes behauptet?CharlyPewPew schrieb:ChatGPT & Co. sind Wahrscheinlichkeitsapparate. Sie entscheiden nichts, sondern geben anhand ihrer Gewichte schlicht das wahrscheinlichste nächste Token aus ... und hängen es ans vorherige.
Setzten wir Deine Aussage mal in Bezug zum aktuellen Kontext, dann impliziert das wohl, ich wäre der Meinung, KI könnte Bewusstsein haben, ist nicht meine Meinung, hab ich nie behauptet, schon gar nicht als Tatsache, ich habe ganz klar erklärt, man kann dazu einfach keine Tatsachenaussage machen.
Aber nehmen wir mal weiter diesen Kontext, die Implikation, KI habe Bewusstsein, und Du willst dem nun widersprechen, mit dem was Du nun sagst. Würde bedeuten, implizieren, Bewusstsein, also ein Bewusstsein, dass eine Antwort generiert, macht das nicht auf Grund von Wahrscheinlichkeit?
Du würdest ja sagen, Wahrscheinlichkeitsapparate können kein Bewusstsein haben. Wäre wieder eine Tatsachenbehauptung, ist nicht zu belegen, kannst Du gerne als Meinung einbringen.
Oder, Bewusstsein ist kein Wahrscheinlichkeitsapparat, der nächste Token hängt nicht so vom vorherigen ab. Echt?
Wo willst Du denn nun ein biologisches LLM zu einem anderen genau unterscheiden?
Wir erzeugen auch Output auf Input und haben gelernt, Sprache und Wissen über die Welt.
Schau, zu sagen, ist nur Statistik, ist wie zu sagen, Gehirne sind nur Chemie. Formal wahr, aber erklärungsmäßig leer.
Ja, Transformer-Code ist simpel, die gelernten Gewichte nicht. Aus der Prädiktion entstehen nun mal eben interne Verfahren (Induktions-Heads, lineare Konzepte, Tool-Use). Und ja, Training braucht viel Rechenleistung aber Inferenz geht auch auf älterer Hardware mit kleineren/quantisierten Modellen. Reduktion rettet keine Argumente.