KI, AI also künstliche Intelligenz und wie nutzt ihr sie?

alhambra schrieb:Verrückt aber wahr

Ja... Stell dir Automechaniker vor, die Maschinenbauer werden und Maschinen bauen, die Autos bauen ;)

ockham schrieb:In ki kommt es drauf an, zum beispiel beim korrigieren von texten, was man sagt, wie man es sagt und in welchen zusammenhang man es sagt., beim korrigieren. Und dazu braucht man, auch wenn du es dir nicht eingestehen möchtest, menschliche kompetenzen, was immer das auch ist. Das merkt man allerspätestens dann, wenn man sich ein bild wünscht und ki sich um ein Bild bemüht.

Das WAS und WIE man etwas sagt, hat ChatGPT nicht von seinen Entwicklern gelernt.

CharlyPewPew schrieb:Das WAS und WIE man etwas sagt, hat ChatGPT nicht von seinen Entwicklern gelernt.

glaubst du ernsthaft, die Formeln die man anwendet, kommen nicht von jemand, der nicht begreifen und verstehen kann?

dann tust du mir leid

ockham schrieb:glaubst du ernsthaft, die Formeln die man anwendet, kommen nicht von jemand, der nicht begreifen und verstehen kann?

Das glaubt er nicht nur, das ist so. Die KI Entwickler haben keine Formal angegeben die aus "Mal mir einen Hund" einen Hund aufs Bild malt. Sie haben eine lernfähige Architektur aufgebaut, die sich in endlosen Trial & Error Abläufen die Regeln selbst setzt.
Du verstehst immer noch nicht das durchaus erstaunliche Element an KIs, es sind am Ende statistische Maschinen die gelernt haben eine "Antwort" zu geben (Als Text, Bild, Musik, Video was auch immer) die sehr wahrscheinlich zu einer "Frage" passt.
Kein Programmierer hat da im Code "verstehen" oder "begreifen" hinterlegt oder irgendwelche Formeln die zu einem bestimmten Ergebnis führen würden -> das wären eher Chatautomaten des alten Schlags, nicht das was wir heute KI oder LLMs nennen.
Das wirklich erstaunliche ist, dass dieses Spiel mit Wahrscheinlichkeiten eben genauso wirken kann wie verstehen oder begreifen, das es genauso aussieht. Als wüsste die KI was ein Hund ist, als könnte sie malen, als würde sie verstehen was deine Frage bedeutet.
Diese Tatsache ist aus meiner Sicht aber eher erhellend für unser Verständnis von uns Selbst und verrät eigentlich nichts über KIs/LLMs.

ockham schrieb:glaubst du ernsthaft, die Formeln die man anwendet, kommen nicht von jemand, der nicht begreifen und verstehen kann?

Die Formeln, die die Entwickler schreiben ist das allgemeine Verhalten der KI. Welche Daten gehen rein, welche kommen raus, wie lernt die KI. Und dann trainiert man das.

Und wenn man die KI dann benutzt, dann können auch die Entwickler nicht sagen warum jetzt genau diese Antwort rausgekommen ist.

Beispiel:

Ich habe mal ne Handschriftenerkennung geschrieben. Man Programmiert dafür ein Neuronales Netzwerk. Also wieviele Eingänge braucht man, wieviele Ausgänge. Wie verhalten sich die einzelnen Neuronen.

Und dann beginnt die Trainingsphase. Man zeigt dem Netzwerk 100000 Bilder von handschriftlich geschrieben Zahlen und das erwartete Ergebnis. Daraus lernt es dann.

Und wenn man dem Ding danach dann eine 3 zeigt, dann wird es hoffentlich sowas liefern wie "zu 80% ne 3, zu 50% ne 8, zu 0% ne 1".... aber warum genau der jetzt dieses Bild zu 80% als 3 einstuft, das kann man nicht herausfinden. Er weiß auch noch noch nicht mal das des eine Zahl ist. Er weiß nur, wenn so ein Muster auftaucht, dann ist das die richtige Antwort".

andere KIs z.b. LLM analog, nur noch komplexer.

ockham schrieb:glaubst du ernsthaft, die Formeln die man anwendet, kommen nicht von jemand, der nicht begreifen und verstehen kann?

dann tust du mir leid

Im Prinzip kann man den Erfindern der KI Modelle (Transformer, Embeddings, stable diffusion etc.) natürlich einige Lorbeeren zusprechen. Ich habe dir auch bereits versucht zu erklären, dass das aber nicht auf „die KI-Entwickler“ zurückzuführen ist, sondern 80 Jahre Wissenschaft, Forschung, Mathematik und Basteleien beinhaltet. Natürlich waren das alles schlaue Köpfe die Respekt verdient haben.

Aber ohne Trainingsdaten würden ihre Algorithmen keinen Output erzeugen. Und die Trainingsdaten kommen (je nach Modell) hauptsächlich von Menschen... vielleicht sogar von dir, wenn du irgendwo das Kleingedruckte nicht gelesen hast und deine Chats für KI-Training genutzt werden dürfen.

Übrigens kommen einige „Formeln“ von Menschen, die überhaupt nicht mit dem Ziel gearbeitet haben KI zu entwickeln. Da wurden mathematische/statistische Grundlagen entwickelt, die heute einfach nur dafür genutzt werden; teilweise sogar zweckentfremdet wurden.

ockham schrieb:die Formeln die man anwendet

Ich muss das noch mal genauer erklären. Es gibt keine "KI-Formel". Es gibt nicht mal eine "Embedding-" oder "Transformer-Formel" noch gibt es eine "LLM-Formel".

Beispiel Embeddings:

Ich kann dir mal ganz ganz grob aufschlüsseln, was alles da drin steckt. Und weil ich selbst nur einen sehr groben Überblick habe (Ich bin kein Mathematiker.) nutze ich einfach KI als Hilfe. Also hier eine Zusammenfassung, was hinter Embedding-Algorithmen steckt:

1. Lineare Algebra (Klassische Geometrie und Physik)
• Vektorräume: Ein mathematisches Konzept aus dem 19. Jahrhundert, um Räume mit mehreren Dimensionen zu beschreiben (genutzt von der Statik im Brückenbau bis zur Quantenmechanik). Der KI-Bezug: Jedes Wort und jeder Text wird heute als ein Punkt in einem solchen hochdimensionalen Raum (oft 768 bis 1536 Dimensionen) dargestellt, um Bedeutung geometrisch messbar zu machen.
• Matrizenmultiplikation: Ein Standardverfahren der linearen Algebra, um lineare Gleichungssysteme zu lösen (z. B. bei 3D-Grafiken). Der KI-Bezug: Es ist das absolute Rechen-Herzstück. Um von einem eingegebenen Wort zu seinem finalen Vektor zu kommen, wird der Input mit gigantischen Tabellen voller Zahlen (den gelernten Gewichten) multipliziert.
• Skalarprodukt & Kosinus-Ähnlichkeit: Reine Geometrie und Trigonometrie, um seit Jahrhunderten Winkel zwischen Linien in einem Koordinatensystem zu berechnen. Der KI-Bezug: Damit misst die KI am Ende, wie nah zwei Wort-Vektoren mathematisch beieinanderliegen. Haben zwei Wörter einen ähnlichen Winkel, weiß das System, dass sie die gleiche inhaltliche Bedeutung haben.

2. Analysis & Optimierung (Das Erbe von Newton und Leibniz)
• Kettenregel & Partielle Ableitungen: Reine Infinitesimalrechnung aus dem 17. und 18. Jahrhundert (von Isaac Newton und Gottfried Wilhelm Leibniz), um Planetenbahnen oder physikalische Kräfte zu berechnen. Der KI-Bezug: Ohne diese alten Regeln der Differentialrechnung würde die gesamte Fehler-Rückführung (Backpropagation) beim Training nicht funktionieren. Sie berechnen, an welchen Stellschrauben das Modell drehen muss, um besser zu werden.
• Gradientenverfahren: Ein klassischer Optimierungsalgorithmus, der bereits 1847 vom Mathematiker Augustin-Louis Cauchy vorgestellt wurde, um ganz allgemein Kosten in der Industrie zu minimieren. Der KI-Bezug: Die KI nutzt genau dieses Verfahren, um sich während des Trainings Schritt für Schritt dem Zustand anzunähern, in dem sie die wenigsten Fehler beim Verstehen von Sprache macht.

3. Stochastik & Informationstheorie (Statistik und Telekommunikation)
• Normalverteilung (Gauß-Verteilung): Die berühmte "Gaußsche Glockenkurve" aus dem frühen 19. Jahrhundert, um Messfehler in der Astronomie oder natürliche Verteilungen zu beschreiben. Der KI-Bezug: Wird genutzt, um die Milliarden von Parametern eines KI-Modells vor dem allerersten Trainingsschritt überhaupt erst einmal mit mathematisch sinnvollen Zufallswerten zu füllen.
• Kreuzentropie: Basiert auf der Entropie von Claude Shannon (1948), der sie erfand, um die maximale Datenkompression in Telefon- und Funkleitungen zu berechnen. Der KI-Bezug: Die KI nutzt diese mathematische Metrik als "Fehlerfunktion", um exakt zu messen, wie weit ihre Wortvorhersage noch von der echten menschlichen Sprache abweicht.
• Softmax-Funktion: Eine Methode aus der statistischen Mechanik des 19. Jahrhunderts (Ludwig Boltzmann), um die Wahrscheinlichkeiten von Energiezuständen von Atomen zu berechnen. Der KI-Bezug: Die KI nutzt sie, um ihre abstrakten, internen Zahlenwerte am Ende in eine für uns lesbare Wahrscheinlichkeitsverteilung (z. B. "Dieses Wort passt zu 95% in den Kontext") umzurechnen.

4. Signalverarbeitung & Numerik (Klassische Ingenieurswissenschaften)
• Sinus- und Kosinus-Funktionen: Trigonometrische Wellenfunktionen, um Schwingungen, Schallwellen oder Wechselstrom zu beschreiben. Der KI-Bezug: Moderne KI-Modelle (Transformer) lesen Texte nicht Wort für Wort, sondern alles auf einmal. Man nutzt diese Wellenfunktionen aus der Funktechnik, um die Position eines Wortes im Satz als mathematisches Muster direkt in den Vektor einzustempeln (Positional Encoding), damit die KI weiß, welches Wort wo stand.
• Dimensionenreduktion: Standardverfahren der Numerik und Statistik (wie die Hauptkomponentenanalyse von 1901), um große Datentabellen in der Meteorologie oder Biologie zu komprimieren. Der KI-Bezug: Damit werden die gigantischen Datenmengen der menschlichen Sprache so stark komprimiert, dass sie für Computer überhaupt erst berechenbar bleiben, ohne dass die semantische Bedeutung verloren geht.

Quelle: gemini.google.com

Ich glaube eher dass da mit Gleichungen in fast jeder Variante gerechnet wird, die wir nicht mal im Ansatz (und dass ist noch untertrieben) begreifen können. Trotzdem entspringen die Gleichungen in fast jeder Variante der Ideenwelt der Entwickler und allen die daran mitwirken und das muss akzeptiert werde. Ich vermute mehr als stark, dass KI nur als KI eingeführt werden konnte, weil die Menschen sich sonst benachteiligt und beobachtet gefühlt hätten. Ich fühle so: von mir aus können meine Gutachten vom Psychiater und mein Leben in jeder Form von Zusammenhang in die KI einfließen, wenn man dies ausdrücklich will, hat dies nur Vorteile. Außer man will es nicht, dies sollte die Entwicklerseite auch annehmen.

Wie gesagt, wie man es einführen musste, ich sag’s mal so: es ist wie es ist, „aber“ es ist auch mehr!!!

Nachtrag: in jeder Form von sinnvollen Zusammenhang.

Auch vermute ich, dass die großen Player von KI meine Informationen so oder so einfließen lassen. Ich hab damit kein Problem und wünsche dies ausdrücklich.

Trotzdem, sollte diese Vermutung der Wahrheit entsprechen, dürfen und sollten sich alle Menschen über diese Vermutung, sollte sie zutreffen, Gedanken machen.

ockham schrieb:Ich glaube eher dass da mit Gleichungen in fast jeder Variante gerechnet wird, die wir nicht mal im Ansatz (und dass ist noch untertrieben) begreifen können. Trotzdem entspringen die Gleichungen in fast jeder Variante der Ideenwelt der Entwickler und allen die daran mitwirken und das muss akzeptiert werde.

Dein Glaube in allen Ehren, aber du hast auch geglaubt dass die KI irgendwie die "Erfahrungen" der Entwickler widerspiegeln würde. Und im Grunde hältst du einfach weiter sturr daran fest.
Nochmal ganz deutlich, deine Eingabe (egal was, ne Frage, Aufforderung was-auch-immer) erzeugt NICHT durch eine von menschengemachte Formel die Antwort.

Na dann, tu ich einfach mal so als hättest du recht, ich will ja nicht, das du Gespenster siehst.

Richtig!

Hatte ich das hier schon einmal gefragt?

Mich würde interessieren, wer hier möglicherweise auch mit lokaler KI arbeitet und mit welcher Ausstattung er das tut, sowie die damit erzielten Ergebnisse.

Ich fange einmal an:

Ich nutze die KI hauptsächlich als Assistenten bei der täglichen Arbeit als S/W-Entwickler.

Meine Hardware:
X99 Board mit Dual Xeon E5 2697a V4, 128 GB RAM, AMD RX550 für das Display, AMD Radeon R9700 AI pro mit 32GB VRAM als KI-Beschleuniger

Ich nutze das Gerät als "KI-Server" mit LM-Studio als Model-Container und den in LM-Studio integrierten Server für den Export der KI-Funktionalität in mein internes Netz. Außerdem nutze ich LM-Link um meinen KI-Server auch von unterwegs nutzen zu können.

Mit herkömmlichen Dense-Models erreiche ich ungefähr 35 generierte Tokens/s. Mit MoE-Models (z.B. Qwen3.6-35B-A3B) ungefähr das Doppelte, 65 -70 T/s.

Aktuell teste ich gerade das Qwen3.6-35B-A3B-MTP - Model von ByteShape. Damit erreiche ich knapp 100 T/s.
Ich kann dabei mit einem Kontext von max. ca. 80.000 Tokens Länge arbeiten. Manchmal aktiviere ich k/v-Cache - Quantisierung und komme dann bis auf ca. 150.000 Tokens Kontextlänge, bei allerdings nachlassender Qualität der Ergebnisse.

Nutzt jemand eine ähnliche Konfiguration? Falls ja, wie sind Eure Ergebnisse und Erfahrungen?

Ich habe Anfang des Jahres mal ein Projekt gemacht, in dem es darum ging Millionen kurzer Texte zu kategorisieren, ohne dass klar war welche Kategorien überhaupt existieren. Also ein selbstlernedes Kategoriensystem.

Hab ich mit llama3.2 auf nem MacBook M5 24GB gemacht. Lief ziemlich gut

@alhambra
Das hört sich auch interessant an. Nach einer Aufgabe, wie für die KI geschaffen.

Ich habe zum ersten Mal ernsthaft mit der Anschaffung eines Macs geliebäugelt, wegen Unified Memory, was ja für größere Modelle geradezu ideal ist, aber die unterschiedlichen Stimmen, die man über die Inferenz-Leistung der Macs hört, haben mich verunsichert und Geräte wie der GX10 liegen außerhalb meines Budgets.

Trailblazer schrieb:Ich habe zum ersten Mal ernsthaft mit der Anschaffung eines Macs geliebäugelt, wegen Unified Memory, was ja für größere Modelle geradezu ideal ist, aber die unterschiedlichen Stimmen, die man über die Inferenz-Leistung der Macs hört, haben mich verunsichert und Geräte wie der GX10 liegen außerhalb meines Budgets.

Also bei mir ist mit den 24GB die finanzielle Schmerzgrenze erreicht. Kleinere Modelle laufen da super. Auch mal mit SDXL ein Bild generieren geht fix. Bei Flux1.dev wird's dann schon zäh und an größere Modelle ist nicht zu denken.

Allerdings ist es bei meinem Windowsrechner auch nicht viel besser. Weil der keinen unified RAM hat, ist dann halt der RAM der Grafikkarte das Bottleneck.

Manche hören das wahrscheinlich gar nicht gern, aber trotzdem. Wenn man so wie ich dazu bereit ist, ausdrücklich sein Leben mit allen Menschen auf der Welt zu teilen, ist KI exponentiell von Vorteil. Ist man dazu nicht bereit, ist KI exponentiell von Nachteil. Das sage ich, weil ich nun beide Seiten kenne und ich bin ausdrücklich dazu bereit.

Ich nutze die Ki um Schnelle Tipps bei Alltagfragen / Probleme zu bekommen ohne lang googeln zu müssen. Um Texte zu gestalten für die Arbeit zb für die viertel jährliche Zeitung was ich für die Bewohner mache. (Bewohnerpost) ... um Plakate für Veranstaltungen zu kreieren.

Hab aber schon oft erlebt das die Ki noch Ausbaufähig ist. Habe mal etwas nachgefragt ... "Suche mir einen Kassenärztlichen Arzt mit Erwachsenendiagnostik für ADHS in der Nähe von Frankfurt am Main mit einem Radius von max. 10 KM... und gute Bewertungen, eine Praxis war Okay, die anderen Drei befanden sich in Berlin und Hamburg als ich ihn dann korrigiert habe das Berlin nicht in meiner Nähe ist , ich aber noch gerne mehr praxen in meiner Nähe hätte spuckte er wieder Berlin aus... habs dann gelassen die Diskussion manchmal regt mich nämlich das auch auf wenn ich weiß das ich im Recht bin aber er mir was anderes sagen will

Auf der Arbeit (im Seniorenheim) nutzen wir die Ki für unser Dokuprogramm... wir haben jetzt Handys die mit unserem Doku-Programm zusammenarbeitet , da können wir zb wenn wir bei Frau Müller den Blutdruck gemesen haben direkt reinsprechen "Frau Müller Blutdruck 120 zu..." und der trägt das direkt bei ihr ins System ein.

Selbe gilt in meiner Berufsbranche in der sozialen Betreuung... "Gemeinsam mit Frau Müller wurde auf dem Balkon ein Kaffee getrunken, Frau Müller erzähte etwas aus ihrer Biografie" ... das dokumentiert er direkt und fragt mich im selben Atemzug wieviel Frau Müller getrunken hat und ob ich was neues in die Biografie reinschreiben möchte.

Es erleichert uns Mitarbeitern etwas die Dokuzeit, aber ich bin eher ein Fan vom Schreiben als vom Sprechen...

Ich habe dieses Buch tatsächlich in der papiernen Form erworben:
https://www.sscardapane.it/alice-book/

3 Blue 1 Brown hat diese netten Videos:

But what is a neural network? | Deep learning chapter 1

Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.

Dass bei LLMs die Gewichte und Co. das Interressante ist sieht man ja an den verschiedenen LLMs, die man sich z.B. bei huggingface runterladen kann. Der ganze Entwicklungsprozess, die Trainingdaten, da hat man keinen Einblick, aber der Motor selbst, den kann man einfach nutzen. Deswegen spricht man ja auch gerne hier von ‘open weights’ (und nicht von open source, denn die Quelle hat man ja nicht).

Prohibitiv ist natürlich der rieisige Speicherbedarf. Aber mit genügend Aufwand lässt sich theoretisch DeepSeek lokal betreiben.

Grüße
Omega Minus