KI - Bilder erzeugen durch Textbeschreibungen

Hi,

ich wollte einmal das Thema der Gemäldegeneratoren ansprechen, und zwar spezifisch solche, die man per Text dazu anweisen kann, etwas zu tun, also mithilfe gesprochener Wörter (und damit mal wieder mit GPT3; also dem Motor von @ArtInt). Da das Thema aber sehr populär ist, dürften wir solche Generatoren bald in allen möglichen Kontexten benutzen (bspw. als Clipart Generator, Emoticon Generator, Kunstgenerator oder zum erzeugen von Schmuddelbildchen).

Ich wollte in diesem Thread das Thema ein wenig im Fokus behalten, insbesondere, was möglich ist. Weniger mit einem Fokus auf die dahinterstehende Technik als mit den Bildern, die erzeugt werden können. Da gewissermaßen die offizielle KI des Herstellers ist nicht frei verfügbar (auch nicht in einer geschlossenen Beta o.ä.) ist, muss man sich aktuell mit Nachbauten zufrieden geben, die von Studenten o.ä. finanziert werden. Da ein Teil des Codes der offiziellen KI (DALL-E von OpenAI) verfügbar ist, aber eben nicht das trainierte Modell, muss die KI trainiert werden. Diese Updates erfolgen ständig, so das die KI nach und nach besser wird. Die Updates kommen alle ein oder zwei Wochen zum tragen, so weit ich das bis jetzt verfolgt habe.

Gewissermaßen meine vorletze Erfahrung war, das es sich um eine Art moderne-Kunst-Generator handelte. Man hatte meistens eine Idee, worum es in den Bildern ging, aber sie bildeten niemals auch nur im entferntesten die Realität ab. Jetzt, etwa zwei Wochen später, hat sich die KI signifikant verbessert. Einfach Dinge kann sie jetzt sehr gut darstellen. So zum Beispiel zeichnet die KI Wolken:

Original anzeigen (1,2 MB)



Das nächste Bild ist der Ozean:

Original anzeigen (1,2 MB)



Und das hier zeigt ein Kliff; etwas, das für die KI offenbar etwas schwerer ist:

Original anzeigen (1,2 MB)



Also offensichtlich können einfache Landschaften dargestellt werden. Jetzt mischen wir mal Kliff und Ozean:

Original anzeigen (1,0 MB)



Als nächstes packen wir ein bisschen Wetter oben drauf:

Original anzeigen (1,2 MB)



Da fehlt noch ein bisschen was. Vielleicht Wellen?

Original anzeigen (1,1 MB)



Immer noch nicht dräuend genug. Vielleicht noch ein paar Wolken?

Original anzeigen (1,2 MB)



Ah, ich habe es: Es ist ja noch Tag. Mal sehen, wie das ganze in der Nacht aussieht.

Original anzeigen (1,0 MB)


Ich denke, da ist noch Platz nach oben. Ich weiß ja, woran die KI scheitert (bspw. Menschen oder Dingen wie Maschinen) oder schwächelt (sie kennt den Kölner Dom, aber nur auf Deutsch o_O ). Ich bin gepannt, wie es ist, der KI dabei zuzusehen, wie sie malt und besser und besser wird. Wer weiß; irgendwann kann sie auch das hier gut umsetzen:

Original anzeigen (1,6 MB)


Wer probieren möchte, kann das hier tun https://huggingface.co/spaces/flax-community/dalle-mini (daher stammen die Screenshots) oder hier https://huggingface.co/spaces/abidlabs/dalle-mini . Wenn ihr gute Bilder erzeugt, immer her damit! :) Und wenn ihr Links auf andere Generatoren kennt, die aus Text Bilder erzeugen (keine Photoshop-Online Tools, Randomness-Tools, Mandelbrot-Generatoren oder Single-Use-Case-Generatoren wie www.thispersondoesnotexist.com - bitte nur Text-Bild-Generatoren!)

Lustiges Spielzeug, aber es kommt eben auch viel unsinniges oder seltsam verformtes raus.

Hier mein Versuch einer Tapete mit braunem Blumenmuster:


und eine Wüstenlandschaft:

paxito schrieb:und eine Wüstenlandschaft:
2b77a03448fb93c9cf603c1c1f2864708d44199b

Das sieht gut aus; Wüste kann er nämlich auch schon recht gut. Ich frage mich, was die KI in, sagen wir mal, einem Jahr leisten kann.

Sicher das diese KI nicht nur eine Bildersuchmaschine ist?

@moredread
Danke für dieses wundervolle Spielzeug!! :)



Original anzeigen (0,6 MB)

Ich glaube ich habe es übertrieben.

JohnFrum schrieb:Danke für dieses wundervolle Spielzeug!! :)



DALLE1Original anzeigen (0,6 MB)

Ich glaube ich habe es übertrieben.

Ja... ich habe mal probiert, Stühle zu erzeugen, die wie eine Avocado aussehen. In der offiziellen KI sieht das so aus:

Original anzeigen (2,7 MB)

Auf DALL-E mini sieht das aus wie... ein Zahnarztstuhl für Aliens. Ich warte darauf, das man eines der Bilder anklicken kann um dann reinzuschreiben: "Jetzt setze das Alien auf den Stuhl". Ich schätze, maximal ein Jahr ^^

Genial. Ich würde mir diesen Stuhl kaufen. :)

Ja, absolut! Schau mal auf der Website nach. Man kann leider keinen Text eingeben, sondern nur aus vorgegebenen Optionen auswählen, aber... wow. Oder was hältst Du von der Fähigkeit, ein Baby-Radieschen in einem rosa Tütü zu zeichnen, das seinen Hund spazieren führt?

https://openai.com/blog/dall-e/

Ich bin gespannt, wie lange es dauert, bis ein System gebaut wird, das auf dem Wege Videos erzeugt. Gearbeitet wird bereits daran (wenn man sucht, finden sich Videos), aber das ist noch weit, weit weg von Anwendbarkeit. Also heutzutage vermutlich ein bis zwei Jahre. Endlich eine Möglichkeit, herauszufinden, wer stärker ist - Superman oder der Hulk ;-)

BerlinerLuft schrieb:Sicher das diese KI nicht nur eine Bildersuchmaschine ist?

Ja; es gibt tonnenweise Paper dazu, und es wird überall drüber gesprochen. Ich vermute, das im Lernmaterial irgendwie Bilder von irgendeiner Bezahl-Seite reingerutscht sind. Daher kriegt man schon mal Bilder mit einer Art Alien-Imprint oder Alien-Untertiteln. Ich trigger das gerne mal, in dem ich mir Konzert-Poster generieren lasse:

Original anzeigen (1,4 MB)

Du kannst versuchen die Neuronen der KI (sprich, die Originalbilder) sichtbar zu machen, indem Du den richtigen Suchbegriff eingibst; das Ergebnis wäre ein verzerrtes Foto. Gibt Beispiele, die sich auf Google finden lassen.

Schade das man keinen Zugriff auf die vollen Kapazitäten hat. Frei verfügbar ist wieder nur eine sehr abgespeckte Variante. Gibt es da irgendeine Hoffnung, dass das in Zukunft breiter nutzbar wird?

paxito schrieb:Schade das man keinen Zugriff auf die vollen Kapazitäten hat. Frei verfügbar ist wieder nur eine sehr abgespeckte Variante. Gibt es da irgendeine Hoffnung, dass das in Zukunft breiter nutzbar wird?

Hoffnung... ja, die gibt es. Ich persönlich befürchte, das die Probleme mannigfaltig sind. Das fängt bei Copyright an. Wenn Du ein Bild hochlädst und zur freien Verfügung stellst, beinhaltet das automatisch auch die Nutzung in einer KI, die danach imstande ist, aus Elementen Deines Bilds ein anderes zu erzeugen? Also, sagen wir mal, Du malst Bilder, nur für Dich als Spaß. Du bist gut und lädst die Bilder immer auf Instagramm hoch. Instagramm erzeugt jetzt eine KI, die Deine Bilder kennt - und Deinen Namen. Ich könnte also sagen "mal mir eine Wüste so, wie Paxito sie malen würde" und * schwupps * habe ich ein Wüstenbildnis von Dir, das Du möglicherweise nie sehen wirst. Kann das in Deinem Interesse sein? Und was wäre, wenn Du ein kommerzieller Künstler wärst - und ich die KI zwar nur mit winzigen Vorschaubildern trainiert habe, sie Dich aber trotzdem hervorragend imitiert?

Das ist ein schwieriges Feld.Ich würde annehmen, das die ersten KIs die auf den Markt kommen, sehr limitiert sein werden. Also Du besorgst Dir 100.000 ClipArt-Bilder und trainierst die KI darauf. Danach kann sich jeder seine PowerPoint Grafiken on-the-fly generieren lassen, aber eben nur im ClipArt-Stil. Das wäre an vielen Stellen schon recht praktisch. Eine KI die alles kann wird es vermutlich nicht geben (frag Dich einfach, was ich machen könnte, wenn ich ALLE Bilder erzeugen könnte: Zum Beispiel Angela Merkel als Babieradieschen, das in einem rosa Tütü einen Hund spazieren führt :-D ), da man zu viele erschütternde Bilder erzeugen und verbreiten könnte. Und es wäre gewissermaßen das Fälschertool für Idioten: Man muss nicht lange in Photoshop etwas konstruieren, nein, Du schreibst einfach "Erzeuge ein Foto, das den Schützen zeigt, der JFK erschossen hat, auf dem man den Schützen als Elvis Presley erkennt". Das öffentliche Vertrauen in Bilder dürfte bald schlagartig zurückgehen (und der Bedarf nach etwas, das ich "KI-Block" nenne, wird steigen: Eine KI, die KI-generierten Content als solchen erkennt).

Willkommen in der Welt von Morgen, willkommen zu den KI-Wars ;)

@moredread
Das Problem ist eher, das KI hier mal ganz lapidar die Aufgabe von Grafikern übernimmt. Wer bezahlt denn bitte Künstler, Grafiker und Designer, wenn er mit dem Zugang zu so einer KI jedes denkbare Bild erzeugen kann?
Wenn du Bilder in der Qualität die auf der Seite gezeigt wird erzeugen kannst, reduziert sich der Preis für Grafiken auf die notwendige Rechenleistung. Über kurz oder lang wird das damit für Menschen schlicht nicht mehr profitabel, man kann ja weiter malen und designen, aber wohl eher als Hobby, denn als Beruf. Das wird nicht von heute auf morgen passieren und es wird immer noch Künstler geben, die durch besondere Originalität herausstechen, aber am Ende wird dort menschliche Arbeit durch Maschinen ersetzt. Wie schon so oft.
Damit erledigt sich über kurz oder lang am Ende auch die Frage der Verwertungsrechte, des Copyrights auf Bilder und so weiter - weil es einfach niemanden mehr kümmern wird. Wozu denn auch, mit Bildern lässt sich dann eh kein oder fast kein Geld mehr verdienen.

Und was die Fälschungen angeht - da beruht doch schon heute alles auf Vertrauen. Bei jedem Bild das wir in der Zeitung, im Fernsehen, im Internet sehen und das wir für authentisch halten, ist schon heute möglich, dass es sich um eine Fälschung handelt.
Egal ob es sich um ein gestelltes Bild handelt, um eine Nachbearbeitung oder Zweckentfremdung. Daran ändert sich auch mit den KIs nichts. Die Aufgabe wird dann eher bei den Medien liegen sicherzustellen, dass Bilder authentisch sind - da könnte dann Programme (KIs) eine Rolle spielen, die solche Bilder erkennen können. Aber auch eine lückenlose Dokumentation z.B.. Da sehe ich nicht wirklich große Änderungen auf uns zukommen.

paxito schrieb:Das Problem ist eher, das KI hier mal ganz lapidar die Aufgabe von Grafikern übernimmt. Wer bezahlt denn bitte Künstler, Grafiker und Designer, wenn er mit dem Zugang zu so einer KI jedes denkbare Bild erzeugen kann?

Auf lange Frist? Dürften entsprechende Berufe wegfallen. So, wie Berufe, in denen Text erzeugt wird (Sachbearbeiter, Autoren, Programmierer, Psychologen etc. etc.). Ich glaube, die meisten wissen noch gar nicht, was da auf uns zukommen wird. Selbst wenn es, wie so oft, nur Tools sein werden: Wenn ich 10 mal so viele Bilder erzeugen kann als Grafiker (weil die Tools es so einfach machen) dann braucht man halt nur noch einen Grafiker, nicht mehr 10. Ich bin wirklich gespannt, wie die Arbeitswelt in 30 Jahren aussehen wird.

moredread schrieb:Auf lange Frist? Dürften entsprechende Berufe wegfallen. So, wie Berufe, in denen Text erzeugt wird (Sachbearbeiter, Autoren, Programmierer, Psychologen etc. etc.). Ich glaube, die meisten wissen noch gar nicht, was da auf uns zukommen wird.

Ich glaube nicht, dass die einfach "ersatzlos" wegfallen. Sie werden sich massiv verändern, eben auf der Basis der Nutzung von KI. Ein Grafiker wird wahrscheinlich immer noch lernen, wie er selbst Bilder malt. Evt. wird er z.B. eine eigene Figur entwerfen und diese mittels KI in verschiedene Posen schlüpfen lassen oder verändern usw.
Und das bedeutet vor allem: er wird deutlich produktiver. Gleiches gilt für Autoren oder Programmier - die KI wird ihr Werkzeug, nicht ihr Ersatz. Wenn die KI z.B. ein Drehbuch schreibt, wird immer noch ein Mensch rüber schauen und das punktuell verändern (sogar die Veränderungen könnten dann wieder mittels KI geschehen). "Mach die Geschichte etwas romantischer, erstelle noch eine lustige männliche Nebenrolle und streiche alle Szenen die wir nicht in Toronto drehen können."
Ob die Berufe dann immer noch so genannt werden oder diese Tätigkeiten in völlig neuen Berufen integriert werden (oder das völlig anders aussieht) kann man heute wohl noch nicht beurteilen. Aber auch hier wird es ja einen Prozess geben, schon weil menschliche Systeme einfach träge sind.
Nur der Wert eines einzelnen Bildes o.ä. - dieser Wert dürfte deutlich fallen.

Möglich, das dem so ist. Meistens liegt die Wahrheit irgendwo zwischen den Dystopien und Utopien, die man sich ausmalt. Es ist schwer zu sagen, welche Auswirkung die Anwendung zukünftiger Entwicklungen auf die Gesellschaft hat. Vielleicht sind wir bis dahin sowieso alle von den Fluten davongespült ;)

Original anzeigen (1,7 MB)

@paxito:

paxito schrieb:Das Problem ist eher, das KI hier mal ganz lapidar die Aufgabe von Grafikern übernimmt. Wer bezahlt denn bitte Künstler, Grafiker und Designer, wenn er mit dem Zugang zu so einer KI jedes denkbare Bild erzeugen kann?

@moredread hat es ja bereits angesprochen: Die von Dir genannten Berufe sind nur ein winziger Teil des Problems. Ein grosser Teil der Bevölkerung hat nach wie vor keine Ahnung davon, was da auf sie zurollt ... und zwar nicht erst -- wie viele immer noch glauben -- in ferner Zukunft, sondern bereits in den nächsten Jahren bzw. ein bis zwei Jahrzehnten. Es ist m.E. auch absehbar, dass zunehmend der im Zusammenhang mit dem Thema Technologische Singularität immer wieder angesprochene Rückkopplungseffekt eintreten wird, d.h. die Geschwindigkeit der Entwicklung wird sich selbst verstärken.

uatu schrieb:Die von Dir genannten Berufe sind nur ein winziger Teil des Problems.

Es ist nicht nur ein Problem, es ist auch eine Chance. Gerade für überalternde Gesellschaften mit einem Mangel an qualifizierten Personal. Es ist eine Technologie und die Frage ist, wie wir sie nutzen.

uatu schrieb:Ein grosser Teil der Bevölkerung hat nach wie vor keine Ahnung davon, was da auf sie zurollt ... und zwar nicht erst -- wie viele immer noch glauben -- in ferner Zukunft, sondern bereits in den nächsten Jahren bzw. ein bis zwei Jahrzehnten.

Das wird von Techies gerne überschätzt. Es gibt Bereiche, wo sich das schnell einsetzen lässt und Bereich wo die menschliche Trägheit das verhindert. Ein Beispiel, die Nachrichtenübertragung im Gesundheitswesen läuft in Deutschland im Jahr 2021 zum großen Teil immer noch über Fax. Und Briefe. Klar könnte man da mit digitalen oder gar KI gestützter Technik viel Effizienz gewinnen, nur heißt das eben nicht, dass sich das durch Zauberhand durchsetzt.
Und wo da diese Technik welche Wirkung entfaltet ist schwierig (wenn überhaupt) vorher zu sehen.

uatu schrieb:Es ist m.E. auch absehbar, dass zunehmend der im Zusammenhang mit dem Thema Technologische Singularität immer wieder angesprochene Rückkopplungseffekt eintreten wird, d.h. die Geschwindigkeit der Entwicklung wird sich selbst verstärken.

Diesen merkwürdigen quasireligiösen Glauben an wahlweise die erlösende oder apokalyptische technologische Singularität teile ich so nicht.

Grandios; unabhängig davon, was ein "Lightning angel" eigentlich ist ;)


Original anzeigen (1,4 MB)

Das Thema Weltall ergibt bei mir solche Kunstwerke:

Original anzeigen (0,5 MB)

Original anzeigen (0,5 MB)

Original anzeigen (0,7 MB)

Original anzeigen (0,6 MB)

Das zweite und letzte Bild erinnert mich eher an etwas menschliches.

Teegarden schrieb:Das Thema Weltall ergibt bei mir solche Kunstwerke:

Fasznierend. In Englisch ist er da recht trittsicher. Probier mal "space", das müsste besser gehen. Faszinierend sieht es dennoch aus. Was er wohl interpretiert, wenn er das Wort nicht kennt?