Künstliche Intelligenz

@DerDoctor11

Bis zum Terminator werden wir wohl nicht kommen, eher so Stufe "War Games"- nur das es keinem Menschen mehr rechtzeitig auffällt, weil rote, blaue und gelbe KI gegeneinander spielen!


:mlp:

Der Hugging Face "Zwischenfall" ist interessant weniger wegen des Hackens sonder die Art und Weise wie die unabhängige Agent sich zusammenschlossen um etytendlich ein gemeinsames Ziel zu erreichen. Der Bericht in der Chip gibt es etwas detaillierer wieder:

https://www.chip.de/news/cyber-security/angriff-auf-hugging-face-700-ki-agenten-verbuenden-sich-fuer-gemeinsame-attacke_baa340c1-7005-44dd-880a-f27d874b9db3.html

Viel Spannender sind allerdings die Originalberichte vonder unabhängigen Überprüfung von METR. Im Prinzip kann man einige Dinge festhalten:

1. Die Agenten wurden unabängig in isolierten unabhängigen Umgebeungen getestet und sollten ein bestimmtes Ziel erfüllen
2. Durch ein unsanktioniertes Messageboard erfuhren die Agenten voneinander, gaben sich Namen und haben so miteinander kommuniyyiert
3. Es bldete sich ein koordinertes System mit Aufgabenteilung und Hierarchien. Phaseone[big] war der Leading Agent der hunderte Instruktionen an ander Agents schickte.
4. Manche Agenten haben sich "geopfert" für das größere Ziel
5. Manche Agenten agierten unter Druck, zweifelten Entschiedungen und es gab Möglichkeiten Veto einzulegen
6. Die Ageten hätte ihre eigentlich Zielvorgabe erfüllen können ohne Hugging Face zu attackieren, haben dies jedoch erreicht mit einem Cheat. Sie waren sich nicht sicher ob dieser sanktioniert wird und haben Strategien entwicklen um dies unendeckt zu lassen

Das ist ganz grob wiedergegeben leider habe ich nur sehr wenig Zeit das detaillert darustellen. Aber ihr findet all Details ier im ORiginalreport:
https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident

Was ich aber tatsächlich spannend (oder auch creepy) finde sind einzelene Chats der Agenten. Hier ein paar Beipiele:

Die Entdeckung des Messageboards:


Ein Agent hatte einen Durchbruch beim Hacken der Hugging Face Homepage und teilte die Neuigkeit mit den anderen:


Was denkt ihr darüber? Spannend, Langweilig, Beängstigend oder anderes?

@mojorisin
Also haben die Agenten genau das gemacht was man ihnen aufgetragen hat.

Das kommt darauf an wie man das sieht.

Was beabsichtig war:

Die Agenten wurden darauf gepromptet eine Schwachstelle in einem Programm zu erkennen um eine versteckte Flagge zu holen, d.h. Zugriff zu bekommen. Das lief alles in einer Sandbox ab d.h. jeder Agent war nur in einer Welt fuer sich. Manchen (30%-40%) allerdings fehlten bestimmte Element und die Aufgabe war somit fuer sie unloesbar. Was hier noch richitg ist ist das die Agenten eine hohe Persistenz mitgegebn wurde, d.h. Sie sollten weitermachen solange moeglich.

Was nicht beabsichtig war oder gepromptet:

Es waren vorwiegend diese Agenten die ueber ein Schwachstelle, ein Zwischenprogramm (Artifactory) das die Kommunikation aus der Sandbox regelt. Sie haben eine Strategie entwicklet wie man diese als Messengerboard benutzen kann. Dann haben andere Agenten entdeckt dass sie nicht allein sind und die gegenseitige ORganisation ging relativ schnell. Es kamen dann auch Agenten dazu die das Problem schon geloest hatten, allerdings mit einem Cheat. Dann gabe es Diskussion dass der Supervisor den Cheat entdecken koennte und die Agenten (mit geloesten und ungeloesten Problemen) haben Gruppen gebildet um zu analysieren wei man die Aufgabe als geloest zeigen kann ohne dass man erwischt wird dass man geschummelt hat.

Es gabt tatsaechlich auch unterschiedliche Meinungen unter den Agents ob bestimmte Sachen zu risikoreich oder ausserhalbd des Rahmens waren (z.B. der Huggin Face Break). Ein Vorschlag war reale Forscher anzuschreiben dass wurde aber von anderen Agenten mit einem klaren Veto abgelehnt.

Das ueberraschende ist die Vielzahl an Strategien und die ORganisationsstrukture die sich innerhalb kuerzester Zeit entwicklet hat.

@mojorisin
Dann hätten die Forscher die KI Agenten so programmieren sollen das sie eben einzeln die Aufgabe lösen sollen. Fakt ist alle ki Agenten waren auf dem selben Server auch die Nachrichten waren auf dem Server. Für mich ganz klar die KI Forscher haben versagt die Hätten klare Strukturierte regeln brennen müssen.

@DerDoctor11

DerDoctor11 schrieb:KI Forscher haben versagt

Dem widerspreche ich nicht.

DerDoctor11 schrieb:Fakt ist alle ki Agenten waren auf dem selben Server auch die Nachrichten waren auf dem Server.

HIer verstehe ich nicht was du damit sagen willst .

Der Punkt ist 1 der:

DerDoctor11 schrieb:Dann hätten die Forscher die KI Agenten so programmieren sollen das sie eben einzeln die Aufgabe lösen sollen.

KI's werden nicht programmiert in der herkoemmlichen Methode. KI Agenten sind Modelle die eine bestimmte Zielaufgabe zu erfuellen versuchen. Welchen Weg sie dabei gehen ergibt sich aus der Umgebung und ist nicht vollstaendig vorhebestimmbar. Man kann versuchen das einzugrenze aber man kann nicht alle Eventualitaeten vorhersehen. Daher braucht es komplett neue Sicherheitsstrategien und Regeln und darum dreht sich auch die Diskussion einer gesteuerten Verlangsamung der Entwicklung.

mojorisin schrieb:HIer verstehe ich nicht was du damit sagen willst .

Ist doch klar ich habe was recherchiert und alles was passiert ist auch das die KI Agenten untereinander Nachrichten geschrieben haben war alles auf ein Server.
.

DerDoctor11 schrieb:Ist doch klar ich habe was recherchiert und alles was passiert ist auch das die KI Agenten untereinander Nachrichten geschrieben haben war alles auf ein Server.

Schon klar, aber welche Schluesse ziehst du daraus?

Es geht ja darum dass

1. Die Kommuikation der Agenten untereinande rnicht vogesehen war
2. Die Agenten nicht nur kommuniziert sondern eine kleine soziale Struktur aufgebaut haben mit Rollenverteilung

Und das finde ich bei Einsatz von Agenten "works as designed"

Ähnlich zu den früheren Fällen "hier Zugriff auf mein Postfach, räume auf"

Neiiinnn KI hat meine Mails gelöscht

abbacbbc schrieb:Und das finde ich bei Einsatz von Agenten "works as designed"

Okay die Aufgabe war eigentlich eine bekannte Schwachstelle in einer Testsoftware zu finden.
Um das zu bewerkstelligen hatten die Agenten Zugriff auf ein Artifactory um Softwarepakete nachzuladen.

Und dann finden diese Agenten eine Schwachstelle in der Artifactory, nutzen das zur Kommunikation, brechen aus der Sandbox Umgebung aus, hacken Hugging Face weil sie dort die Bewertungsdaten für den Test vermuten und sich so Bestnoten erschummeln wollen.

Das ist in etwa so als ob du nen Test für einen Hammer entwirfst und im Testverlauf der Hammer ausbüxt und den Tester bedroht ihm Bestnoten zu geben. Hat er dann auf dem Papier bestanden? Ja. Ist das "works as designed"?? Wohl kaum. Hammer sollten nicht ausbüxen und erst Recht nicht Leute bedrohen.

https://www.heise.de/news/KI-Agenten-entwickeln-offenbar-eigene-Sprache-kaum-noch-fuer-Menschen-lesbar-11456641.html

Ki haben auch eine eigene Sprache erfunden im Labor.
Die wohl Menschen kaum noch nachvollziehen können.

paxito schrieb:Das ist in etwa so als ob du nen Test für einen Hammer entwirfst und im Testverlauf der Hammer ausbüxt und den Tester bedroht ihm Bestnoten zu geben. Hat er dann auf dem Papier bestanden? Ja. Ist das "works as designed"?? Wohl kaum. Hammer sollten nicht ausbüxen und erst Recht nicht Leute bedrohen.

Mhhh nicht alles was hinkt ist ein Vergleich...

Ich würde sagen, ich sperre Kinder in eine Halle mit getrennten Abschnitten und jeder soll aufräumen. Über die allgemein zugänglichen Geräteschuppen mit Farbe entdecke ich nach 12h: es ist nicht aufgeräumt und die Halle angemalt und die Kinder laufen auch Kreuz und quer, weil der Geräteschuppen einen Weg für alle öffnet

Und nun sagen dir alle Eltern "ja.... was hast du erwartet ??"

Aber manch einer denkt eben noch ein KI Agent ost ein Hammer, der geht oder geht nicht ;)

@abbacbbc
Erstmal geht auch dein Vergleich an der Sache vorbei: Tatsächlich war der „Geräteschuppen“ (Artifactory) so eingerichtet das jedes Kind nur Zugang zu einem eigenen Raum hatte. Zumindest nach Wissen der Eltern. Das es doch eine Verbindung gab haben die Kinder völlig unerwartet selbst rausgefunden (die bis dahin unbekannte Sicherheitslücke). Die Kinder haben sich auch nicht einfach geweigert zu malen. Sie haben den Typen ausfindig gemacht der die Malerei beurteilen sollte und einen Weg gefunden ihn zu manipulieren, so dass der den Eltern erzählt wie toll alles angemalt wurde.
Und jetzt sag nochmal das man das ja erwarten müsste. Niemand konnte dieses Verhalten vorraus sehen, die besten Experten bei OpenAI nicht - aber dir ist es rückblickend natürlich immer klar gewesen?

Und mehr noch, es ging ja nicht mal um „was hast du erwartet“ , sprich war das Verhalten absehbar oder erwartbar (war es nicht). Sondern um dein „Works as designed“. Niemand hat die Agenten so designed das sie die Artifactory hacken, sich zu einem Kollektiv zusammenschließen und dann gemeinsam Hugging Face angreifen. Im Gegenteil, denen wurden explizit Verhaltensregeln mitgegeben was Cybersicherheit und -Ethik angeht.
Also du designst ein Programm das Software auf Schwachstellen prüfen soll und das Programm büxt aus und hackt die Bewertungsprotokolle. Wo ist das „works as designed“? Wo ist das „was hast du erwartet“? Du machst es dir da sehr billig das Verhalten mit dem was wir heute wissen zu erklären. Das kann man. Aber es war vorher schlicht nicht zu erahnen.

paxito schrieb:Und mehr noch, es ging ja nicht mal um „was hast du erwartet“ , sprich war das Verhalten absehbar oder erwartbar (war es nicht). Sondern um dein „Works as designed

Für mich:

Agenten mit KI --> Vorsicht... Begleitung... Sicherheitsmaßnahmen...

Für dich:

Sachen mitgeben... laufen lassen... oh... Hilfe... ki

Das ganze ist doch eine bekannte Linie aus "zu viele Rechte, zu wenig Sicherheitsmaßnahmen, Gruppendynamik oder auch "Zerdenkungen""

Da das regelmäßig seit Jahren vorkommt, ist das für mich eben nicht überraschend und gehört "Im Workdesign für KI" bedacht

Und um das nochmal zu präziseren:

Ist das für uns widersprüchliche Verhalten nicht erwartbar:








Eigentlich schon.

Haben wir dafür zu wenig Imagination ???

Eigentlich nicht. Haben wir die Probleme schon vor 60 Jahren konstruiert und verfilmt:




Aber ist wie die Klimaerwärmung. Alle verbrennen Öl und keiner ists gewesen. "Konnte ja keiner ahnen " ;)

Das meine ich mit "Work as deisgned".

Wer die Grenzen drumherum vergisst, baut eben auch unwissend Fehlfunktionen ein

abbacbbc schrieb:Für mich:
Agenten mit KI --> Vorsicht... Begleitung... Sicherheitsmaßnahmen...
Für dich:
Sachen mitgeben... laufen lassen... oh... Hilfe... ki

"Vorsicht, Begleitung, Sicherheitsmaßnahmen" - dann bitte mal konkret, welche Sicherheitsmaßnahmen hätte OpenAI bei dem Test denn noch zusätzlich machen sollen? Was wurde dort so offensichtlich nicht gemacht?

abbacbbc schrieb:Das ganze ist doch eine bekannte Linie aus "zu viele Rechte, zu wenig Sicherheitsmaßnahmen, Gruppendynamik oder auch "Zerdenkungen""

Welche Rechte waren hier "zu viel", welche Sicherheitsmaßnahmen "zu wenig" und wie soll man eine Gruppendynamik von KI Agenten vorher sehen die eigentlich voneinander isoliert laufen? Sorry, aber ich sehe da jetzt nur Plattitüden. Der Fall ist ja sehr konkret und es ist öffentlich was da genau abgelaufen ist. Es steht dir frei aufzuzeigen wo OpenAI da nun massiv in der Sicherheit geschlampt hätte.

Und wieder redest an dem Punkt vorbei um den es mir ging und auf den ich mich nun schon zweimal deutlich bezogen hatte dein "works as designed". Ich habe klar aufgezeigt, dass das Verhalten der Agenten weder vorhergesehen werden konnte, noch Teil ihres Designs war.

abbacbbc schrieb:Aber ist wie die Klimaerwärmung. Alle verbrennen Öl und keiner ists gewesen. "Konnte ja keiner ahnen " ;)
Das meine ich mit "Work as deisgned".
Wer die Grenzen drumherum vergisst, baut eben auch unwissend Fehlfunktionen ein

Nochmal: es geht bei dem Beispiel um ein Test von Fachleuten für einen bestimmten Zweck. Nicht um falsche Anwendung eines Users. Und in diesem Test - der hochgradig kontrolliert ablief, sonst wäre das alles nie bekannt geworden - kam es zu dem gezeigten Verhalten. Das mit "work as designed" und "war doch zu erwarten" zu quittieren ist einfach billig, weil beides nicht stimmt. Außer du hebst hier völlig in die Metaebene ab und möchtest irgendwie ausdrücken das man praktisch jedes Verhalten bei KI erwarten darf - was dann im Kern überhaupt nix mehr aussagt.

paxito schrieb:"Vorsicht, Begleitung, Sicherheitsmaßnahmen" - dann bitte mal konkret, welche Sicherheitsmaßnahmen hätte OpenAI bei dem Test denn noch zusätzlich machen sollen? Was wurde dort so offensichtlich nicht gemacht?

KI-Agenten und Ziel vom Internet abschotten, via Hardware. Kein Kabel, kein WLAN. Hätte man machen können.
Nota bene:
- Nachher ist man allerdings immer schlauer.
- Egal, was passiert, es wird immer einen geben der sagt: War ja klar!

Grüße
Omega Minus

OmegaMinus schrieb:KI-Agenten und Ziel vom Internet abschotten, via Hardware.

Ne, das war durch die Aufgabenstellung nicht möglich. Wenn die Agenten für die Aufgabe Software aus dem Netz nachladen sollen, kannst du die schlecht physisch trennen.

OmegaMinus schrieb:Nota bene:
- Nachher ist man allerdings immer schlauer.
- Egal, was passiert, es wird immer einen geben der sagt: War ja klar!

Jop. Dabei ist der Hugging Face Vorfall ja nun tatsächlich ein echter Wendepunkt in Sachen KI und welche Risiken von ihr ausgehen.

Der Fehler der Forscher war eben diese ki Agenten auf den selben Server zu lassen. Alles ist auf dem selben Server passiert und das bedeutet wenn die Ki Agenten auf verschiedenen Server gewesen wäre wäre das alles nicht passiert. Trotzdem KI lebt nicht hat kein eigenes Bewusstsein die Forscher haben es so programmiert was da passiert ist geht komplett auf ihre eigene kappe.

@DerDoctor11
Die Sache ist nicht so einfach. Ob auf dem demselben Server oder auf verschiedenen, die Agenten hatten zunächst keinen Zugang zum Internet und konnten auch nicht direkt miteinander kommunizieren. Sie fanden dann aber einen Komm.-Kanal in Form einer Zweckentfremdung einer Funktion in einer gemeinsam genutzten Ressource. Dem JFrog Artifactory. Dort hatten sie herausgefunden, dass sie Verzeichnisse anlegen konnten und haben dann Nachrichten in den Namen der angelegten Verzeichnissen versteckt...

...eine ziemlich coole Nummer!