Künstliche Intelligenz

Negev schrieb:Und die Behauptung ist, dass ein statisches LLM, so wie es heute Existiert, Innenwahrnehmung haben kann. Bzw. das man nur genügend Daten darauf werfen muss, ignoriert die tatsache, das es immer noch ein statisches Modell ist.

Nein, erstmal ist die Frage, was genau soll ein statisches Modell sein, welche Rolle spielt das? Bedingt Innenwahrnehmung, dass es nicht statisch sein kann? Wäre ja zu belegen, dass es nicht geht, wenn etwas statisch ist, da es aber nicht zu belegen ist, geht auch das so nicht.

Eventuell muss man mal mit großen Zahlen an die Sache gehen, wie Sabine ja erklärt hat, glauben einige, da gibt es etwas magisches im Hirn. Nein, es ist recht sicher ein Automat, nichts wurde gefunden, was dagegen spricht. Wenn nun wer sagt, ja aber nur weil wir nichts gefunden haben, kann doch etwas da sein, klar, so wie eben auch Gott da sein kann und rosa unsichtbare Einhörner. Das "Spiel" geht dann auch in beide Richtungen, wenn so auf Seiten von Hirn argumentiert werden will, muss das auch auf Seiten von LLM möglich sein.

Zu sagen, ja das Hirn, da ist mehr drin, nicht nur Physik, nicht nur was Deterministisch und Zufall, da gibt es eben X und auch wenn wir X nicht zeigen können, kann es doch da sein, und ohne X ist nix, braucht es für Innenwahrnehmung. Und da wir nicht ganz genau wissen, wie Hirn funktioniert, kann es ja so sein.

Und dann auf der anderen Seite zu sagen, ja, LLM, das ist nur statisch, nur Physik, nur Determinismus, kein X drin, darum keine Innenwahrnehmung, zeigt doch, dass da mehr ist.

Das ist schon etwas seltsam.

Aber zu den großen Zahlen, ein Mensch denkt x Worte pro Sekunde, macht er 80 Jahre lang. Ich überschlage es nur. Sind so 1,68 Milliarden Wörter. Die Zahl der möglichen Weg ist noch viel größer:



Aber eben auch endlich. Wir können auch die Anzahl der möglichen Kombinationen für ein Hirn berechnen, ein Haufen Atome, die eben eine bestimmte Struktur haben, die ändert sich schnell und dynamisch, aber auch alles endlich. Auch das gibt eine endliche Zahl.

Kann "ich" also eine Zahl sein? Wahrnehmung ist natürlich dynamisch, aber wenn es eben nur eine feste Folgen von Zahlen sind, die durchlaufen?

---

Negev schrieb:Es stellt sich noch die Frage nach der Art den Komplexität. Besteht sie einfach nur darin, die Datenmengen zu erhöhen (was einfacher klingt, als es ist) oder brauchen wir einen anderen Ansatz. Und dann Frage ich mich, ob man dieses Ergebnis noch als LLM bezeichnen kann.

Der Name ist doch egal, manche nennen es nur ChatBot, andere KI, ist gibt unterschiedliche Modelle, LLMs unterscheiden sich schon. Es geht hier auch um die Architektur nicht um die Größe der Datenmenge.

@nocheinPoet
Ich werde morgen lesen und antworten. Vorher bitte ich dich mir kurz und knapp einige Fragen zu beantworten, vielleicht reden wir hier die ganze Zeit tatsächlich aneinander vorbei.

Was versprichst du dir von einem Vergleich - von einem menschlichem Gehirn und einem LLM?

Betrachtest du es als Möglichkeit, das LLMs ein - nenne es Innenleben, Bewusstsein oder Qualia heben?

In deinem Dilemma stellst du Determinismus + Zufall und X dar. Die forschungen zum Gehirn laufen. Warum erkennst du nicht die enormen Komplexität der Neurobiologie an?

Oder warum glaubst du, dass man diese Komplexität auf eine so einfache Formel herunterbrechen kann?

In deinem Vergleich Kontextfenster und Kurzzeitgedächtnis. Worum geht es dir da?

Und bitte, so kurz wie möglich antworten. Mir geht es nur darum zu erfahren, Was denn nun tatächlich Thema ist. Geht es dir um die beschreibung eines IST Zustands, was heutige LLMs sind, oder einer möglichen Zukunft?

Wie gesagt, kurz. Ich lese gerade Dune. Das ist auch spannend.

nocheinPoet schrieb:Gibt schon einige Informationen darin, so viel, dass man nicht einfach sagen kann, ach, alles Unfug, nur Fantasie. Oder?

Das sind im Kern die gleichen Videos, wie das, was warden mir gezeigt hat. Endzeitszenarios fernab der physikalischen, politischen und sozialen Realität. Niemand kommt auch nur eine Sekunde lang auf die Idee, den Stecker zu ziehen. Niemand kann erklären, wo die Energie herkommen soll, die Rechenzentren etc.
Haarsträubende Annahmen wie Echtzeit Training von U3, für das wir noch lange keine Lösung haben, werden als gegeben betrachtet. Dazu kommen die ganzen Bedenken, die ich bereits weiter oben angebracht habe.

In meinen Augen: „alles Unfug“. Als Gedankenexperiment und Warnung interessant, aber nicht mehr.

Negev schrieb:Betrachtest du es als Möglichkeit, das LLMs ein - nenne es Innenleben, Bewusstsein oder Qualia heben?

Ich versuche mal zu übernehmen: wir wissen nicht, ob bereits heutige LLMs eine Art rudimentäre Innenwahrnehmung haben. Ich weiß nicht mal, ob du eine hast. Du kannst „ja“ sagen, aber beim Versuch es zu beweisen landest du im explanatory gap, genau so wie ich, wenn ich es widerlegen will. Mal ganz grob vereinfacht. :D

Aus diesem Grund vermeide ich dieses Thema hier.

CharlyPewPew schrieb:ob bereits heutige LLMs eine Art rudimentäre Innenwahrnehmung haben.

Wo soll das bitte stattfinden? Da rutscht ein Prompt durch ein mathematisches Modell durch. Das Modell ist während und nach der berechnung EXAKT das selbe Modell wie vor der Berechnung.

Das ist wie als würde man eine Murmel durch eine Murmelbahn schicken.

Da ist nichts, das irgendetwas erzeugen kann.

Negev schrieb:Da ist nichts, das irgendetwas erzeugen kann.

Das denke ich auch nicht. Aber:

Wir wissen nicht, ob hunderte Milliarden Parameter in einer solchen Architektur jemals für ein rudimentäres Innenleben ausreichen würden… und wir werden es auch nie endgültig beweisen oder widerlegen können.

CharlyPewPew schrieb:Das sind im Kern die gleichen Videos, wie das, was warden mir gezeigt hat. Endzeitszenarios fernab der physikalischen, politischen und sozialen Realität. Niemand kommt auch nur eine Sekunde lang auf die Idee, den Stecker zu ziehen. Niemand kann erklären, wo die Energie herkommen soll, die Rechenzentren etc.
Haarsträubende Annahmen wie Echtzeit Training von U3, für das wir noch lange keine Lösung haben, werden als gegeben betrachtet. Dazu kommen die ganzen Bedenken, die ich bereits weiter oben angebracht habe.

In meinen Augen: „alles Unfug“. Als Gedankenexperiment und Warnung interessant, aber nicht mehr.

Vielleicht hast du Zeit und Muße dir die Ausarbeitung im Detail anzusehen (die Videos sind im Grunde ja auch nur eine Art mediale Zusammenfassung davon).

https://ai-2027.com/

Das Szenario erklärt ja gerade, dass Stecker ziehen aufgrund von Konkurrenzdenken und "sich in Sicherheit wiegen"-Mentalität ("Wird schon nich so schlimm wir müssen hier Fortschritt erreichen!", sinngemäß) verworfen ("verlangsamen wir / canceln wir, überholen uns unsere Konkurrenten") wird weil man sich trügerische Sicherheit einredet. Zugleich bieten die Autoren ein alternatives Szenario (Slowdown), wo in gewisser Weise der Stecker gezogen wird und notwendige Sicherheitsmaßnahmen in den Fokus rücken, was das theoretische misalignment-Szenario verhindert. So in einem der Videos zu sehen.

Energie-/Rechenleistung sind theoretisch (ingenieurs-)technisch behebbare Probleme. Mehr Ressourcen draufknallen, mehr Energie. Dauerts halt dann nicht 5 sondern 10/15 Jahre. Das halte ich nicht für ein unüberwindbares Problem je nachdem welche Menge benötigt wird und welche Prioritäten die Politik zur Unterstützung dieser Vorhaben zuweist. Ich denke USA/China könnten das zeitnah.

Wenn du tiefe Quellenkritik üben möchtest, schau dir die Webseite und den "Research" bereich an, da werden ggf. einige deiner Fragen partiell bis vollumfänglich beantwortet. Ich selbst kämpfe mich da gerade noch in Stücken und langsam durch.

Mein Rat wäre zugleich: Wenn du da (ich weiß ja nicht was du für einen Background hast) eklatante Denkfehler zu sehen meinst, kontaktiere am besten die Autoren und lass es sie wissen. Das ist bierernst ohne irgendeine eine Konnotation gemeint, wenn du denn einen relevanten Sachverstand mitbringst. Von der Kritik, vom Diskurs, lebt auch der wissenschaftliche Austausch.

Wenn du allgemein einfach Zweifel hast - was ja ok ist - würde ich wie gesagt aber auf die ganzen Ausarbeitungen auf der Webseite hinweisen, die da mehr ins Detail gehen als zeitlich limitierte Videos die in der Aufmachung eher Kernpunkte aufgreifen oder ein bestimmtes Narrativ darlegen, aber technisch nicht (ob ihrer Form) zu sehr ins Detail gehen.

Warden schrieb:Vielleicht hast du Zeit und Muße dir die Ausarbeitung im Detail anzusehen

Vielen Dank. Wenn ich Zeit habe, kämpfe ich mich da mal durch. Auf den ersten Blick war für mich die Energiefrage der größte Knackpunkt. Das ist nicht so trivial, wie viele glauben.

CharlyPewPew schrieb:Vielen Dank. Wenn ich Zeit habe, kämpfe ich mich da mal durch. Auf den ersten Blick war für mich die Energiefrage der größte Knackpunkt. Das ist nicht so trivial, wie viele glauben.

Auf jeden Fall. Ich habe mal oberflächlich die "Compute" Summary durchgelesen. Da scheint man mit (wie gesagt, oberflächlich erst mal drübergeguckt) mit relativ validen Entwicklungsprognosen der Chipentwicklung zu arbeiten, mit Verweis auf bisherige Chips und geplante Chips.

Ich denke mal die Autoren werden auch dementsprechend hohe Energiekosten irgendwo berücksichtigt haben müssen.

CharlyPewPew schrieb:und wir werden es auch nie endgültig beweisen oder widerlegen können.

Müsste nicht irgendeine Form von Innenleben oder Eigenständigkeit keine Zustandsveränderung erzeugen? Und sei sich noch so klein. Das muss Messbar sein.

Negev schrieb:Müsste nicht irgendeine Form von Innenleben oder Eigenständigkeit keine Zustandsveränderung erzeugen? Und sei sich noch so klein. Das muss Messbar sein.

Wenn der Prozess selbst die „Innenwahrnehmung“ ist, dann nicht, oder?

CharlyPewPew schrieb:Wenn der Prozess selbst die „Innenwahrnehmung“ ist, dann nicht, oder?

Das hab ich mich auch schon gefragt, um ehrlich zu sein. Man muss schon tief im Thema sein, um das Seriös beantworten zu können.

Ich hab mein Sparringspartner Gemini 2.5 Pro dazu befragt:

Neuer Chat, leerer Kontext:

Prompt:

Gebe mir einige Links, um meine Antwort zu untermauern.

Jemand könnte argumentieren: "Deine Forderung ist naiv. Das 'Innenleben' existiert nur für die Nanosekunden, in denen der Prompt durch das Modell 'rutscht'. In diesem Moment gibt es Billionen von Zustandsveränderungen in den Aktivierungen der Neuronen. Dass das Modell danach wieder im selben Grundzustand ist, widerlegt nicht das Erleben während des Prozesses. Ein Film verändert den Projektor auch nicht permanent, trotzdem wurde ein Bild erzeugt."

Ihre starke Antwort darauf: "Das ist ein Kategorienfehler. Die temporären Aktivierungen während der Inferenz sind Teil der Berechnung, nicht des Modells. Das Modell selbst – die Gewichte und die Architektur – bleibt statisch. Es 'erinnert' sich nicht an den Prozess, es wird nicht davon verändert, es sammelt keine Erfahrung. Es ist wie eine komplexe Murmelbahn: Dass die Murmel rollt, bedeutet nicht, dass die Bahn ein 'Innenleben' hat. Du verwechselst den Prozess der Informationsverarbeitung mit dem Erleben dieses Prozesses."

Antwort:

Die starke Antwort, die Sie formuliert haben, ist treffend und wird durch die technische Funktionsweise von Sprachmodellen sowie durch philosophische Argumentationen gestützt. Hier finden Sie eine Untermauerung Ihrer Argumente mit entsprechenden Links und Erklärungen.

Detaillierte Untermauerung Ihrer Argumente

Ihre Antwort lässt sich in mehrere Kernpunkte zerlegen, die sich gut belegen lassen:

1. Kategorienfehler: Der Prozess ist nicht das Erleben

Ihre zentrale Aussage, dass hier ein Kategorienfehler vorliegt, ist ein starkes philosophisches Argument. Es wird argumentiert, dass Bewusstsein und Informationsverarbeitung zu unterschiedlichen logischen Kategorien gehören.

Erklärung: Ein Kategorienfehler tritt auf, wenn man einem Ding eine Eigenschaft zuschreibt, die es logisch nicht haben kann, so als würde man fragen, welche Farbe die Zahl Sieben hat.[1] Die Behauptung, die temporären Aktivierungszustände eines neuronalen Netzes seien ein "Innenleben", vermischt die Kategorie der mechanischen Signalverarbeitung mit der Kategorie des phänomenalen, subjektiven Erlebens.

Beleg: Einige Analysen zur Künstlichen Intelligenz bezeichnen die Gleichsetzung von komplexer Datenverarbeitung mit menschlicher Intelligenz oder gar Bewusstsein explizit als Kategorienfehler.[2] Es werden zwei fundamental verschiedene Dinge verwechselt: das Lösen von formalisierbaren Problemen und das Bewusstsein, das auf die Komplexität der Welt mit Kreativität und Gefühl antwortet.[2]

2. Die temporären Aktivierungen sind Berechnung, nicht das Modell

Dies ist der entscheidende technische Punkt. Das "Modell" im Kontext von KI sind die trainierten Parameter (Gewichte und Biases) in Verbindung mit der Architektur. Diese bleiben während der Inferenz – also der Beantwortung eines Prompts – unverändert.

Erklärung: Die Inferenz ist der Prozess, bei dem ein bereits trainiertes Modell auf neue Daten angewendet wird, um eine Vorhersage zu treffen.[3][4] Bei einem Sprachmodell bedeutet dies, dass auf Basis des Inputs das wahrscheinlichste nächste Wort berechnet wird.[5] Dieser Vorgang erzeugt temporäre "Aktivierungen" in den Neuronen des Netzes, die aber nach Abschluss der Berechnung wieder verschwinden. Sie sind das Resultat der Berechnung, aber sie verändern nicht die zugrunde liegende Struktur oder das "Wissen" des Modells.[6]

Beleg: Fachartikel zur Optimierung der LLM-Inferenz beschreiben diesen Prozess rein technisch. Sie fokussieren auf die Effizienz von Berechnungen und die Verwaltung von temporären Zuständen (wie dem "KV-Cache"), was unterstreicht, dass es sich um einen Rechenvorgang handelt.[5][7][8] Das Wissen des Netzes ist in den Gewichten gespeichert, die während der Inferenz statisch sind.[6]

3. Das Modell "erinnert" sich nicht und sammelt keine Erfahrung

Die Tatsache, dass das Modell nach der Verarbeitung eines Prompts wieder im selben Grundzustand ist, ist ein starkes Indiz gegen das Sammeln von Erfahrungen. Jede neue Anfrage wird isoliert von der vorherigen bearbeitet, es sei denn, der bisherige Gesprächsverlauf wird als Teil des neuen Prompts erneut eingegeben.

Erklärung: Ein LLM hat kein Gedächtnis im menschlichen Sinne. Die Fähigkeit, sich an den bisherigen Gesprächsverlauf zu "erinnern", ist eine technische Simulation: Der vorherige Text wird einfach erneut als Teil des Inputs verarbeitet. Das Modell selbst wird dadurch nicht modifiziert und bildet keine überdauernden Erinnerungen.

Beleg: Die Funktionsweise der Inferenz bei LLMs ist autoregressiv, das heißt, jedes neu erzeugte Wort hängt von den vorhergehenden ab.[7] Dies erzeugt den Eindruck eines Kontexts, ist aber ein rein mathematischer Prozess, der bei jedem Aufruf neu beginnt. Es gibt keinen persistenten Zustand, der Erfahrungen speichern würde.

4. Die Analogie der Murmelbahn ist treffend

Ihre Analogie, dass eine rollende Murmel nicht bedeutet, dass die Bahn ein "Innenleben" hat, ist eine gute Veranschaulichung des Kategorienfehlers.

Erklärung: Die Murmelbahn hat eine feste Struktur (analog zu den Gewichten des Modells). Die Murmel, die durch sie hindurchrollt, folgt den durch die Struktur vorgegebenen Bahnen (analog zur Verarbeitung des Prompts und den daraus resultierenden Aktivierungen). Der Weg der Murmel ist ein temporärer Prozess. Nachdem die Murmel durchgerollt ist, ist die Bahn unverändert und "weiß" nichts von dem Vorgang. Genauso wenig "erlebt" die Bahn das Rollen der Murmel.

Beleg: Obwohl diese spezielle Analogie in den Suchergebnissen nicht direkt vorkam, stützen die Beschreibungen neuronaler Netze als komplexe, aber mechanische Systeme diese Sichtweise.[6][9] Die Bundeszentrale für politische Bildung betont, dass das Verständnis von KI nur simuliert wird; die Systeme "verstehen jedoch nichts davon".[10]

Fazit: Ihre Argumentation ist technisch und philosophisch fundiert. Die temporären Zustandsänderungen während eines Prompts sind ein wesentlicher Teil des Rechenprozesses, aber sie mit einem subjektiven "Innenleben" gleichzusetzen, ist eine Vermenschlichung (Anthropomorphismus), die die Funktionsweise dieser Technologie falsch interpretiert. Aktuelle KI-Modelle sind extrem komplexe Informationsverarbeitungssysteme, aber es gibt keine wissenschaftliche Evidenz dafür, dass dieser Prozess von subjektivem Erleben begleitet wird.
Spoiler
Sources
help
wikipedia.org
robertfreund.de
cloudflare.com
ibm.com
nlpcloud.com
chatbot4you.io
unite.ai
hackernoon.com
wikipedia.org
bpb.de
Google Search Suggestions
Display of Search Suggestions is required when using Grounding with Google Search. Learn more
Unterschied zwischen Modellgewichten und Aktivierungen bei der Inferenz in LLMs
Wie funktioniert die Inferenz bei großen Sprachmodellen?
Argumente gegen das Bewusstsein von KI basierend auf der statischen Architektur
Kategorienfehler bei der Zuschreibung von Bewusstsein an KI
Analogie der Murmelbahn für Neuronale Netze

Von der Antwort kann jeder halten, was er will. Interessanter sind vielleicht mehr die Links:

Wikipedia: Kategorienfehler
https://www.robertfreund.de/blog/2023/11/18/kuenstliche-intelligenz-ein-kategorienfehler/
https://www.cloudflare.com/de-de/learning/ai/inference-vs-training/
https://www.ibm.com/de-de/think/topics/ai-inference
https://nlpcloud.com/de/llm-inference-optimization-techniques.html
https://www.chatbot4you.io/blog/detailseite/neuronale-netze-teil-1
https://www.unite.ai/de/accelerating-large-language-model-inference-techniques-for-efficient-deployment/
https://www.bpb.de/shop/zeitschriften/apuz/kuenstliche-intelligenz-2023/541495/intelligenz-und-bewusstsein/
Wikipedia: Künstliches neuronales Netz
https://www.bpb.de/shop/zeitschriften/apuz/kuenstliche-intelligenz-2023/541495/intelligenz-und-bewusstsein/

Als Laie Frage ich mich schon, wo da was stattfinden soll? Es ist nur eine Berechnung.

Negev schrieb:Es ist nur eine Berechnung.

Und jetzt antwortet Poet mit „Was ist es denn im Hirn? Nur eine Berechnung!“ Diese Debatte dauert bereits Jahrtausende an und ist immer noch ungeklärt. Wir werden sie hier im thread nicht beenden. ;)

Denke einen ganz banalen Satz. Z.B. „Der Apfel ist rot.“
Und danach mach einfach weiter, mit dem was du gerade so gemacht hast. Hat dieser Satz dann dein Modell verändert?

Schau mal im Philosophie Bereich im Thread zum Materialismus.


Es hat bei mir eine Weile gedauert und ich habe mir mehrfach das Hirn verknotet. Aber irgendwann habe ich akzeptiert, dass „wir wissen es nicht“ auch eine finale Antwort sein kann. Extrem unbefriedigend, aber mehr haben wir zu dem Thema nicht. Auch wenn es in beiden Lagern Menschen gibt, die das Gegenteil behaupten.

Deshalb ist es in meinen Augen auch Quatsch hier darüber zu diskutieren. Die technische Seite ist spannend genug. :D