Künstliche Intelligenz

CharlyPewPew schrieb:Einfach nur Geld auf das Problem zu werfen ändert nichts an physikalischen, logistischen und geopolitischen Gre

Doch doch...

Wenn KI erstmal da ist , holt die das über eine Zeitreise alles nach.

Gut das wir im Mysteryforum sind und nicht im Technikteil, wo der AKW Bau zB im Nachhaltigkeitstheead sinnlos gesehen wird.

Aber die denken auch nicht an KI

CharlyPewPew schrieb:In der finalen Ausbaustufe sind 10 GW geplant... das entspricht pro Jahr rund 87 TWh, also etwa 17 % des gesamten deutschen Stromverbrauchs. Und OpenAI ist nicht der einzige Player, der solche Rechenzentren baut.
Man kann es so sagen: Wir stellen energetisch betrachtet ganze Staaten auf, nur um KI zu trainieren... und speisen sie dann zum Teil immer noch mit fossilen Energieträgern.

Ich rechne fest damit, dass der Energiehunger von KI in den nächsten Jahren deutlich sinken wird. Die zugrunde liegende Architektur ist alles andere als effizient und sicher nicht der Goldweg zu den Möglichkeiten die die Modelle heute bieten.

paxito schrieb:Ich rechne fest damit, dass der Energiehunger von KI in den nächsten Jahren deutlich sinken wird. Die zugrunde liegende Architektur ist alles andere als effizient und sicher nicht der Goldweg zu den Möglichkeiten die die Modelle heute bieten.

Ich rechne damit das bei günstigen Bezugspreisen, sich gar nicht großartig ändert.

Erst wenn Energie richtig teuer wird, wird auf Effizienz geachtet. Somit ist der aktuelle weg mehr Rechenleistung bei gleichzeitigiger begrenzter Wärmeabfuhr Kapazität= mehr Effizienz.

Aber wg dem günstigen Strom ist das kein Treiber Server zB mit Handyprozessoren oder Notebookprozessoren extrem sparsam zu bauen.

@abbacbbc
Im Moment benötigen KIs immense Rechenleistung und verbrauchen einfach dadurch viel Strom.
KIs die die gleichen oder bessere Resultate mit deutlich geringerer Rechenleistung erbringen, würden natürlich auch deutlich weniger Strom verbrauchen. Dabei gibt es deutlich mehr Vorteile als "nur" der geringere Stromverbrauch, das wäre am Ende eigentlich ein Nebeneffekt. Aber ein guter.

paxito schrieb:Ich rechne fest damit, dass der Energiehunger von KI in den nächsten Jahren deutlich sinken wird. Die zugrunde liegende Architektur ist alles andere als effizient und sicher nicht der Goldweg zu den Möglichkeiten die die Modelle heute bieten.

Da grätschen jetzt mehrere Sachen rein:

Zunächst mal das Jevons-Paradoxon, was sich in der Vergangenheit immer wieder mehr als bewahrheitet hat.
Sinngemäß sagt es:
Steigt die Effizienz einer Technologie, sinkt der Energieverbrauch pro Einheit... aber dadurch wird sie günstiger, weiter verbreitet und stärker genutzt, was am Ende den Gesamtverbrauch sogar erhöhen kann.

Dann kommt noch das Landauer Prinzip dazu. Da ich das nicht mehr zusammenbekommen habe, habe ich mich mal mit Wikipedia bemüht:

Das Landauer-Prinzip ist eine 1961 von Rolf Landauer formulierte Hypothese, die die Informationstheorie mit der Thermodynamik und der statistischen Physik verknüpft. Sie besagt, dass das Löschen eines Bits an Information zwangsläufig die Abgabe einer Energie von

W=kBTln2

in Form von Wärme an die Umgebung bedeutet.

Dabei ist

kB die Boltzmann-Konstante und
T die absolute Temperatur der Umgebung.

Quelle: Wikipedia: Landauer-Prinzip

Will heißen: Wir stoßen auch irgendwann an physikalische Grenzen, an denen es einfach nicht mehr effizienter geht.

CharlyPewPew schrieb:Steigt die Effizienz einer Technologie, sinkt der Energieverbrauch pro Einheit... aber dadurch wird sie günstiger, weiter verbreitet und stärker genutzt, was am Ende den Gesamtverbrauch sogar erhöhen kann.

Stimmt schon. Die benötigte Rechenleistung müsste massiv sinken, damit das am Ende nicht aufgefressen wird. Und auch dann wäre es möglicher Weise nur ein vorläufiger "Gewinn".

CharlyPewPew schrieb:Will heißen: Wir stoßen auch irgendwann an physikalische Grenzen, an denen es einfach nicht mehr effizienter geht.

Da sind wir an der Stelle aber noch lange nicht. Ich spreche ja von einer möglichen neuen Architektur die völlig anders arbeitet als bisherige KI Modelle aber vergleichbare Ergebnisse liefert.
Im Grunde beruhen alle heutigen KIs auf einer vergleichbaren Technologie, die erste die uns derartige Ergebnisse liefert. Aber mit Sicherheit ist das nicht der Weisheit letzter Schluss.

paxito schrieb:Da sind wir an der Stelle aber noch lange nicht.

Das stimmt natürlich. Wir haben etliches an Luft nach oben. Quantencomputer könnten eines Tages helfen dieser Grenze näher zu kommen. Wenn sie denn irgendwann zuverlässige und replizierbare Ergebnisse liefern und alle "Problemchen" ausgemerzt sind. Photonik ist das realistischste kurzfristige Szenario und wird auch in gewissem Maße helfen.

paxito schrieb:Ich spreche ja von einer möglichen neuen Architektur die völlig anders arbeitet als bisherige KI Modelle aber vergleichbare Ergebnisse liefert.

Das wiederum sehe ich nicht. Bzw. ich verstehe nicht ganz was du meinst.

Eine mögliche neue Computing Architektur setzt erst mal eine gewaltige neue Infrastruktur voraus, die man auch nicht mal eben, nebenbei, irgendwo etabliert.

Eine mögliche neue KI-Architektur klingt spannend, klar. Aber: Solche Ansätze entstehen immer innerhalb der aktuell verfügbaren Ressourcen. Man kann nicht einfach sagen: „Hier ist ein theoretisch viel effizienterer Algorithmus“, wenn er nur auf Quantencomputern oder Spezialhardware laufen würde, die real bislang nur in kleinen Forschungseinrichtungen existiert. Damit wären wir sofort wieder bei der Frage der Computing-Architektur und Infrastruktur.

Heißt: Selbst wenn ein Transformer-Nachfolger kommt, müsste er erst einmal auf heutiger Hardware laufen... mit allen bestehenden physikalischen, logistischen und energetischen Grenzen. Der Wechsel auf eine wirklich neue Plattform würde einen globalen Austausch der Rechenzentren erfordern. Und das ist ein Generationenprojekt, kein kurzfristiger Joker.

Vielleicht noch als Nachtrag:

Softwareseitig ist auch auf bestehender Hardware noch Luft nach oben, was die Effizienz angeht. Aber man sollte realistisch bleiben: Verbesserungen im Bereich von Faktor 10, vielleicht auch 100, halte ich in den nächsten Jahren vielleicht noch für plausibel, durch z.B. bessere Quantisierung oder spezialisierter Hardware.

Ein Faktor 1000 wäre eher Science Fiction. Man stößt dann nämlich immer auf oben genannte Grenzen. Der Grund dafür ist tatsächlich relativ "simpel": Sprachmodelle approximieren extrem komplexe Wahrscheinlichkeitsverteilungen. Dafür braucht es eine gewisse Mindestmenge an Parametern und Rechenoperationen. Selbst wenn man die Algorithmen perfektioniert, bleibt man gebunden an physikalische Limits wie Speicherbandbreite, Kommunikation zwischen Chips oder die Landauer-Grenze für Energie pro Bit.

Das gilt auch für mögliche Nachfolger der Transformer. Auch der cleverste Ansatz kann die Komplexität der Aufgabe nicht wegzaubern. Sprache, Weltmodelle, multimodale Daten sind hochdimensionale Strukturen. Dafür braucht es immer sehr viele Operationen pro Sekunde.

Man kann die Kurve verschieben, aber man kann sie nicht beliebig nach unten drücken.

CharlyPewPew schrieb:Das stimmt natürlich. Wir haben etliches an Luft nach oben. Quantencomputer könnten eines Tages helfen dieser Grenze näher zu kommen. Wenn sie denn irgendwann zuverlässige und replizierbare Ergebnisse liefern und alle "Problemchen" ausgemerzt sind. Photonik ist das realistischste kurzfristige Szenario und wird auch in gewissem Maße helfen.

Bei Quantencomputern bin ich skeptisch ob das nicht die nächsten Fusionsreaktoren werden - kommen ganz sicher in 50 Jahren. Aber ja.

CharlyPewPew schrieb:Das wiederum sehe ich nicht. Bzw. ich verstehe nicht ganz was du meinst.

CharlyPewPew schrieb:Heißt: Selbst wenn ein Transformer-Nachfolger kommt, müsste er erst einmal auf heutiger Hardware laufen...

Ja sicher, soll er ja auch. Mein Gedankengang war eher softwareseitig. Ich bin überzeugt das sich die notwendigen Berechnungen für LLMs deutlich reduzieren lassen. Auf der heutigen Hardware, bzw. sogar auf deutlich simplerer Hardware als im Moment dafür verwendet wird.

CharlyPewPew schrieb:Der Grund dafür ist tatsächlich relativ "simpel": Sprachmodelle approximieren extrem komplexe Wahrscheinlichkeitsverteilungen. Dafür braucht es eine gewisse Mindestmenge an Parametern und Rechenoperationen.

Die Frage ist wo diese Mindestmenge liegt. Viel mehr darf ich dazu aber nicht sagen.

paxito schrieb:Bei Quantencomputern bin ich skeptisch ob das nicht die nächsten Fusionsreaktoren werden - kommen ganz sicher in 50 Jahren. Aber ja.

Das sehe ich genau so. :D

paxito schrieb:Auf der heutigen Hardware, bzw. sogar auf deutlich simplerer Hardware als im Moment dafür verwendet wird.

Oh das passiert bereits. Es gibt die erste "Schreibtisch-Hardware" die ganze Sprachmodelle hosten kann.

Mir geht's bei der Debatte gerade eher um etwas anderes.

Ein Gigawatt Rechenzentrum, bleibt ein Gigawatt Rechenzentrum. Ob es nun mit 10^27 oder mit 10^31 FLOPs rechnet.
Also selbst wenn wir hypothetisch die Landauer-Grenze erreicht haben, bedeutet das dann, dass keine neuen Rechenzentren gebaut werden?
Löst das automatisch alle zukünftigen Aufgaben und Problemstellungen in Wissenschaft, Forschung, Politik, Gesellschaft usw.?

paxito schrieb:Die Frage ist wo diese Mindestmenge liegt. Viel mehr darf ich dazu aber nicht sagen.

Dazu müsste ich jetzt ziemlich weit ausholen. Ich probiere mal mich kurz zu fassen:

Es liegt vor allem an der Komplexität der Sprache. Gleiche Wörter mit unterschiedlichen Bedeutungen müssen sauber differenziert werden können (Bank - das Geldinstitut, Bank - das Möbelstück). Dazu braucht man höherdimensionale Vektoren um den Bedeutungsraum trennen zu können, ohne die Parallele der Wörter zu verlieren.
Hochdimensionale Vektoren zu berechnen ist extrem rechenintensiv. Dabei gilt: je komplexer und leistungsfähiger ein Modell, desto höherdimensional sind auch seine "Embeddings" (Vektoren). Ich denke du kannst dir vorstellen wie rechenintensiv die Matrizenoperationen von Vektoren mit 5000+ Dimensionen sind.

Fairerweise muss ich sagen, dass intensiv daran geforscht wird, die Dimensionen kleiner zu halten, ohne Genauigkeit zu verlieren. Aber auch da stößt man irgendwann an eine Untergrenze, unterhalb derer Sprache einfach nicht mehr konsistent abgebildet werden kann.

CharlyPewPew schrieb:Ein Gigawatt Rechenzentrum, bleibt ein Gigawatt Rechenzentrum. Ob es nun mit 10^27 oder mit 10^31 FLOPs rechnet.
Also selbst wenn wir hypothetisch die Landauer-Grenze erreicht haben, bedeutet das dann, dass keine neuen Rechenzentren gebaut werden?

Naja, das ist doch nun Science Fiction. Wenn wir jemals die Landauer Grenze erreichen sollten, dann errichten wir vielleicht "Rechenzentrum" im All auf eine Art die mit dem heutigen nichts mehr zu tun hat. Ich verstehe deine Frage, aber die ist mir dann tatsächlich mal zu spekulativ.

CharlyPewPew schrieb:Es liegt vor allem an der Komplexität der Sprache. Gleiche Wörter mit unterschiedlichen Bedeutungen müssen sauber differenziert werden können (Bank - das Geldinstitut, Bank - das Möbelstück). Dazu braucht man höherdimensionale Vektoren um den Bedeutungsraum trennen zu können, ohne die Parallele der Wörter zu verlieren.

Diese Art und Weise Sprache zu behandeln ist aber im Grunde autistisch. Natürlich kann ein noch so kluger Algorithmus nicht 1:1 das menschliche Sprachverständnis simulieren.
Trotzdem können wir uns daran orientieren. Dabei ist es eben nicht so das jeder Begriff eine wohldefinierte Bedeutung hat (oder mehrere) die dem Sprecher durch Lernen klar wird, sondern Wörter verbinden sich zu einem Konglomerat von Bedeutung.
Etwa Bank, Geld, Finanzinstitut, Börse ect. pp. auf der einen Seite und Bank, Sitzgelegenheit, Park, Möbel usw. auf der anderen Seite. Gleichzeitig ergibt sich der konkrete Sinn eines Wortes dann erst durch seinen Kontext, also "die Wörter drumherum".
Etwa:
"Ich sitze vor der Bank auf einer Bank." Der Satz ist eigentlich mehrdeutig trotzdem werden die meisten Menschen eben erwarten das man vor dem Gebäude Bank auf dem Möbel Bank sitzt. Und nicht etwa umgekehrt. Dieser Sinn steckt in gerade mal 7 Wörtern.
Das alles lässt sich darstellen, aber eben nicht auf die Art und Weise wie es bei LLMs heute passiert. Die ähneln eher einem Autisten der Wörterbücher auswendig gelernt hat und mit diesem Wissen dann Zeitungsartikel interpretiert.

CharlyPewPew schrieb:Fairerweise muss ich sagen, dass intensiv daran geforscht wird, die Dimensionen kleiner zu halten, ohne Genauigkeit zu verlieren. Aber auch da stößt man irgendwann an eine Untergrenze, unterhalb derer Sprache einfach nicht mehr konsistent abgebildet werden kann.

Die Frage ist erstmal wie Sprache abgebildet wird.

paxito schrieb:Das alles lässt sich darstellen, aber eben nicht auf die Art und Weise wie es bei LLMs heute passiert. Die ähneln eher einem Autisten der Wörterbücher auswendig gelernt hat und mit diesem Wissen dann Zeitungsartikel interpretiert.

Eben nicht. Ein LLM hat nicht einfach ein Wörterbuch im Kopf, sondern modelliert Bedeutungsräume. Das Token "Bank" taucht im Kontext (jedes Token sieht jedes andere Token) in zwei unterschiedlichen semantischen Räumen innerhalb eines hochdimensionalen Vektors auf. Über die Trainingsgewichte lernt das Modell, dass "Bank" in Kombination mit "vor der" sehr wahrscheinlich das Gebäude meint, während "Bank" in Kombination mit "sitzen" das Möbelstück meint.

Die Bedeutung wird nicht statisch abgespeichert, sondern kontextabhängig berechnet... jedes mal.
Genau darin unterscheidet sich ein LLM von einem "Wörterbuch Algorithmus".

paxito schrieb:Die Frage ist erstmal wie Sprache abgebildet wird.

Bei einem LLM bzw. Embedding Algorithmen? Wenn man so will: Geometrisch.
Ich weiß jetzt nur nicht ob das eine Fangfrage ist, oder ob ich dir das erklären soll. ^^