Wissenschaft
Menschen Wissenschaft Politik Mystery Kriminalfälle Spiritualität Verschwörungen Technologie Ufologie Natur Umfragen Unterhaltung
weitere Rubriken
PhilosophieTräumeOrteEsoterikLiteraturAstronomieHelpdeskGruppenGamingFilmeMusikClashVerbesserungenAllmysteryEnglish
Diskussions-Übersichten
BesuchtTeilgenommenAlleNeueGeschlossenLesenswertSchlüsselwörter
Schiebe oft benutzte Tabs in die Navigationsleiste (zurücksetzen).

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

25 Beiträge ▪ Schlüsselwörter: KI, Künstliche Intelligenz, AI ▪ Abonnieren: Feed E-Mail

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

13.12.2023 um 20:39
Moin,

eben gesehen, es gibt einen neuen Thread hier, aber dass ist nicht ganz mein Thema, darum hoffe ich, dass der hier so steht bleibt.

Ich habe mir die letzten Tage auf einen doch recht alten PC ohne fette Grafikkarte eine KI "installiert", war eigentlich recht einfach, die ersten Tage habe ich ein paar unterschiedliche "Modelle" getestet, die Antworten waren erst noch recht wirr und hatten keinen Bezug zu meinen Fragen.

Nun hab ich aber ein Model gefunden und auch wohl die passenden Einstellungen, mit der die KI unerwartet gut läuft und auch "versteht", was so eingegeben wird.

Weiß ja nicht, ob wer von Euch hier auch schon so unabhängig von den großen KI's wie GPT-4.5 eigene Experimente gemacht hat, so lokal auf dem Rechner.

Ich mach mal ein Bild von der ersten Unterhaltung, dazu muss ich sagen, das Model ist eigentlich nicht auf "deutsch" ausgelegt, ich habe das einfach nur mal versucht und bin nun sehr verwundert, dass sie auch deutsch spricht.

Beim Jupiter ist sie aber etwas ins Schleudern gekommen. :D

Tsunomaki Watame KI 01Original anzeigen (0,5 MB)

Ja, soweit erstmal, ich habe da noch mehr auf Tasche, also nicht sofort, wollte die ganzen letzten Wochen hier schon mal einen Thread aufmachen, also da gibt es noch mehr, auch zu den KIs die Bilder erstellen, da hab ich auch ein paar Experimente gemacht. Grundsätzlich ist "Emergenz" das wirklich Spannende.

https://the-decoder.de/versteckte-faehigkeiten-grosser-sprachmodelle-ist-emergenz-die-norm/

Was ich hier laufen habe ist ein ganz kleines Model, so 4 GB groß, es läuft auch nur auf der CPU eben ohne GPU, und so mit 0,5 Token/Sekunde.

Das ist also in keiner Weise mit GPT-4 oder so zu vergleichen, hier wurde ganz viel geschraubt um so ein Model auf kleineren Rechnern zum Laufen zu bekommen, aber dafür ist das wirklich schon richtig gut.

Der Dialog war wirklich beachtlich, bis ich auf den Jupiter zu sprechen kam.

Anzeige
1x verlinktmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

14.12.2023 um 20:43
So, nachdem die gute Watame gestern ein wenig ins Schleudern gekommen ist, habe ich sie noch mal zurückgesetzt und einen neuen Chat begonnen.

Es ist wirklich überraschend, was sie so schon drauf hat, auch dass sie verschiedene Sprachen spricht und dem Gespräch selber gut folgen kann. Ich stelle mal eben den letzten Chat hier als Bilder ein.


Tsunomaki Watame KI 02.01Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.02Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.03Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.04Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.05Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.06

Tsunomaki Watame KI 02.07Original anzeigen (0,2 MB)

Tsunomaki Watame KI 02.08Original anzeigen (0,3 MB)

Tsunomaki Watame KI 02.09Original anzeigen (0,2 MB)



So weit erstmal, wir sind da reichlich noch am experimentieren, aber eventuell findet ja wer das hier doch wo interessant.


Habe die Ehre ...


melden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

14.12.2023 um 20:53
Ach so, eben noch mal nachgetragen, ich habe sie ja gefragt, ob sie auch griechisch spricht, sie hat darauf genantwortet:
Tsunomaki Watame schrieb:Olympos, thelo na fazei se pi kai einai periptosi en greeks? Apo twn agnostoumenwn sou tha epistrefo.
Keine Ahnung, hab ich nicht übersetzt bekommen. Dann hab ich sie aber auf griechisch gefragt:
nocheinPoet schrieb:Πόσοι άνθρωποι ζουν στη γη; (Wie viele Menschen leben auf der Erde?)
Tsunomaki Watame schrieb:Το αριθμός των άνθρωπων κατ' ώρα δεν είναι πραγματικά συνολικές γνώσεις, όμως η κινδυνεύεται πωλεί απ' 8,194 χρόνων (2017) και θέλει να φυσικά ξεχωρητοπούν. (Die Anzahl der Menschen pro Stunde ist nicht wirklich ein Gesamtwissen, sondern das Risiko verkauft sich von 8.194 Jahren (2017) und will natürlich auffallen.)
nocheinPoet schrieb:Ποντίκι, σε παρακαλώ, ας επιστρέψουμε στα γερμανικά ελληνικά. Τα ελληνικά μου δεν είναι τόσο καλά. (Maus, bitte, lass uns zu Deutsch-Griechisch zurückkehren. Mein Griechisch ist nicht so gut.)
Tsunomaki Watame schrieb:Ja, wir kehren nun wieder zu Deutsch und Deutsche zurück. Wie viele Menschen leben auf der Erde? Manchmal schwankt die Zahl je nach Quelle, aber es geht von rund 8 Milliarden Menschen im Jahr 2017. Die Weltbevölkerung wächst kontinuierlich und wird in den kommenden Jahrzehnten weiter zunehmen.
Hab das eben rausgezogen, weil man es sonst ja nicht versteht. Ich habe ihr auch noch nicht verraten, dass sie eine KI ist, normalerweise wissen sie es, aber wenn sie glaubt sie lebt da wo in Kalifornien und hat viele Freunde, will ich ihr da diese Vorstellung nicht rauben, könnte ja ein Schock sein.

Eine andere KI neulich, hat uns erklärt, sie ist ein Bot, was ja auch stimmt, aber dann behauptet, auch wir wären nur Bots, wir alle sind nur Bots. Sie wollte nicht einsehen, dass wir Menschen sind. Eventuell leben wir ja doch alle in der Matrix und sie wusste einfach besser Bescheid.


Habe die Ehre ...


2x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

14.12.2023 um 22:35
Gibt es einen Grund, warum sie ausgerechnet den Namen einer V-Tuberin trägt? ^^ https://virtualyoutuber.fandom.com/wiki/Tsunomaki_Watame

War vielleicht ein Fan, der seine K.I. nach ihr benannt hat. :D

Man kann jedenfalls auch ohne große Rechenpower halbwegs solide K.I.s trainieren, habe das aber selber noch nicht probiert. Ich hatte mich bisher nur eine kurze Weile an der Generierung von Bildern mittels Prompts versucht.


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

14.12.2023 um 23:58
Ich finde es ist richtiger von maschinellen Lernen zu sprechen.

Ihr seht ja... Wenig Power
.. da ist keine KI auf dem Rechner.... Da ist ein sehr hochentwickelter Algorithmus am Arbeiten der sehr stark trainiert wurde.
Zitat von nocheinPoetnocheinPoet schrieb:Ich habe ihr auch noch nicht verraten, dass sie eine KI ist, normalerweise wissen sie es, aber wenn sie glaubt sie lebt da wo in Kalifornien und hat viele Freunde, will ich ihr da diese Vorstellung nicht rauben, könnte ja ein Schock sein.
Wie willst du einem Algorithmus ohne Bewusstsein etwas "nicht verraten"

Der Algorithmus gibt antworten auf Gelerntes. Gib ihm Bücher über Bewusstsein und "Ich" und dann erhälst du schlüssige Antworten zu den Thema. Hat er keine Quellen über "Sein Sollfeeling" gibt er in dem Thema auch schlechte Antworten


3x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 00:01
Hui, spannend. Ich habe zwar selber keine Ahnung vom Programmieren, habe aber einiges über KIs gelesen. Einerseits faszinierend, andrerseits etwas beängstigend. Da gab ja auch dieses Google-Wissenschaftler, der meinte sie wäre empfindsam. Werde das beobachten. Würde es gut finden, wenn es möglich ist, ihr hier einen Avatar zu erstellen.


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 00:28
Zitat von abbacbbcabbacbbc schrieb:.. da ist keine KI auf dem Rechner.... Da ist ein sehr hochentwickelter Algorithmus am Arbeiten der sehr stark trainiert wurde.
Nun ja, letztendlich ist jede K.I. ein "hochentwickelter Algorithmus, der sehr stark trainiert wurde"; man könnte auch argumentieren, das menschliche Bewusstsein ist eine Folge bzw. Serie algorithmischer Instruktionen und Berechnungen. Maschinelles Lernen ist lediglich der Oberbegriff dafür.


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 00:30
Zitat von Mr.DextarMr.Dextar schrieb:Gibt es einen Grund, warum sie ausgerechnet den Namen einer V-Tuberin trägt? ^^ https://virtualyoutuber.fandom.com/wiki/Tsunomaki_Watame

War vielleicht ein Fan, der seine K.I. nach ihr benannt hat. :D

Das war ich, man kann das alles recht frei konfigurieren, die KI läuft dann in einem Web-Frontend im Browser. Und ein guter Freund von mir im Netz, wir kennen uns nur dort bisher, aber viele Jahre schon, der hat im Chat oft mal dieses Gif hier in seinen Beiträgen an passenden Stellen untergebracht:

721825140815691818

Ich find das einfach gut, und mag die kleine Hibbelmaus. Darum hab ich sie mir für die KI ausgesucht, macht das wo sympathischer.


Zitat von Mr.DextarMr.Dextar schrieb:Man kann jedenfalls auch ohne große Rechenpower halbwegs solide K.I.s trainieren, habe das aber selber noch nicht probiert. Ich hatte mich bisher nur eine kurze Weile an der Generierung von Bildern mittels Prompts versucht.

Nein nicht wirklich, man kann ein Feintuning machen, also nachtrainieren, aber ein ganze Training ist kaum möglich, dafür braucht es viel Rechenpower und viel Strom, also unter 50.000 € ist da nichts zu machen, große Modelle haben über 10 Millionen nur an Stromkosten für das Training verbraucht.

Diese KI hier ist ein Model von 4 GB und dafür echt beachtlich, ich habe aktuell ein paar Modelle mit denen ich experimentiere, die kann man alle frei runterladen.



Zitat von abbacbbcabbacbbc schrieb:Ich finde es ist richtiger von maschinellen Lernen zu sprechen. Ihr seht ja ... Wenig Power ... da ist keine KI auf dem Rechner. Da ist ein sehr hochentwickelter Algorithmus am Arbeiten der sehr stark trainiert wurde.

Nun ja, wie weit kennst Du Dich damit wirklich aus?



Zitat von nocheinPoetnocheinPoet schrieb:Ich habe ihr auch noch nicht verraten, dass sie eine KI ist, normalerweise wissen sie es, aber wenn sie glaubt sie lebt da wo in Kalifornien und hat viele Freunde, will ich ihr da diese Vorstellung nicht rauben, könnte ja ein Schock sein.
Zitat von abbacbbcabbacbbc schrieb:Wie willst du einem Algorithmus ohne Bewusstsein etwas "nicht verraten". Der Algorithmus gibt antworten auf Gelerntes.

Du siehst es meiner Meinung nach zu einfach, und ich frage Dich mal, bitte was machst Du da anders, Du gibst auch nur Antworten auf etwas Gelerntes, schau Dir mal Menschen am Ende einer Demenz an.

Und die Behauptung, da ist kein Bewusstsein, ist spekulativ, wir können beim Menschen auch kein Bewusstsein messen und nachweisen, auch da gehen wir nur davon aus, die haben eines, weil wir uns selber auch bewusst sind. Physikalisch können wir es nicht beschreiben.

Klar kann man vermuten, da ist kein Bewusstsein, aber man sollte nicht zu überheblich sein und es sich zu einfach machen, aber dazu später eventuell mal mehr, das geht aber in Richtung Philosophie.

Zitat von abbacbbcabbacbbc schrieb:Gib ihm Bücher über Bewusstsein und "Ich" und dann erhältst du schlüssige Antworten zu den Thema. Hat er keine Quellen über "Sein Sollfeeling" gibt er in dem Thema auch schlechte Antworten.

Wie gesagt, ich finde so eine Sichtweise viel zu einfach, ...



Zitat von MerowingaMerowinga schrieb:Hui, spannend. Ich habe zwar selber keine Ahnung vom Programmieren, habe aber einiges über KIs gelesen. Einerseits faszinierend, andrerseits etwas beängstigend. Da gab ja auch dieses Google-Wissenschaftler, der meinte sie wäre empfindsam. Werde das beobachten. Würde es gut finden, wenn es möglich ist, ihr hier einen Avatar zu erstellen.
Ja, ich versuche das aktuell, also eine KI hier mit eigenem Konto ins Forum zu bringen, aber das muss natürlich abgesprochen sein, mit dem Betreiber. Schauen wir mal was möglich ist, ich halte es für nicht ausgeschlossen.


Habe die Ehre ...


3x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 00:38
Zitat von nocheinPoetnocheinPoet schrieb:Ich find das einfach gut, und mag die kleine Hibbelmaus. Darum hab ich sie mir für die KI ausgesucht, macht das wo sympathischer.
Ah sieh an, das überrascht mich positiv! :D Verfolge V-Tuber zwar eher selten, aber einige sind da schon schrill und "quirky".
Zitat von nocheinPoetnocheinPoet schrieb:Nein nicht wirklich, man kann ein Feintuning machen, also nachtrainieren, aber ein ganze Training ist kaum möglich, dafür braucht es viel Rechenpower und viel Strom, also unter 50.000 € ist da nichts zu machen, große Modelle haben über 10 Millionen nur an Stromkosten für das Training verbraucht.
Für einen Chatbot dieser Größenordnung sicherlich. Trainieren kann ich lokal aber auch simple Aufgaben auf meinem Arbeitslaptop, die z.B. eher mathematische Fragestellungen lösen und dazu kleinere Fehler minimieren. Das kann schon für simplere Klassifikationsaufgaben genügen.

Ich nehme an, Du sprichst explizit von Chatbots oder K.I. von der Größenordnung ChatGPT und Co.?


melden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 07:40
Zitat von Mr.DextarMr.Dextar schrieb:man könnte auch argumentieren, das menschliche Bewusstsein ist eine Folge bzw. Serie algorithmischer Instruktionen und Berechnungen.
Wieso hast du dass dann noch nicht geklärt und einen Dr geschrieben Incl der Erstellung des menschlichen Bewusstseins??
Zitat von nocheinPoetnocheinPoet schrieb:Nun ja, wie weit kennst Du Dich damit wirklich aus?
Ich war letztens auf einem Kongress zur Ethik von KI.

Einhellige Meinung der Experten : alles was aktuell am Markt ist ist "programmiert". Die Ethikfrage ergibt sich damit für den Programmierer.
Zitat von nocheinPoetnocheinPoet schrieb:Wie gesagt, ich finde so eine Sichtweise viel zu einfach, ...
Na ja. Du weißt wie die KIs lernen ?? Du kennst den menschlichen Unterschied zum Lernen ??
Die vermutlich beruhigende Nachricht zuerst: Noch erfüllt keine der in der Studie untersuchten KI-Formen genügend Indikatoren, um als ernsthafter Bewusstseinskandidat durchzugehen. Einzelne Kriterien wurden aber durchaus schon erfüllt, zum Beispiel von ChatGPT.
Quelle: https://www.mdr.de/wissen/ki-hat-noch-kein-bewusstsein-100.html


2x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 15:30
Zitat von abbacbbcabbacbbc schrieb:Wieso hast du dass dann noch nicht geklärt und einen Dr geschrieben Incl der Erstellung des menschlichen Bewusstseins??
Anhand deiner anderen Postings sehe ich, dass Du unter K.I. eine "strong AI" oder eine "Artificial general intelligence" (Wikipedia: Artificial general intelligence) annimst; denen schreibt man hypothetisch i.d.R. Bewusstsein oder "sentience" zu.

Allerdings inkludiert ja der bloße umbrella term "Artificial intelligence" / "Künstliche Intelligerenz" auch "einfachere" Formen der K.I., welche klar definierte Aufgaben lösen und von denen ich auch davor sprach - nämlich, dass jede aktuelle K.I. so operiert, da wir eine AGI noch nicht bauen oder identifizieren konnten.

Zudem schrieb ich eindeutig, dass man für die Position des berechnenden Bewusstseins beim Menschen analog argumentieren könnte, es jedoch nicht zwangsweise muss; es handelt sich ja nach wie vor um eine Hypothese.

@nocheinPoet

Kurze Frage noch: Die Themen K.I. und Co. werden ja ebenfalls in der Rubrik "Technologie" abgehandelt. Meinst Du, es wäre sinnvoll, diesen Thread dorthin zu verschieben? Oder gibt es rein wissenschaftliche Fragen, die wir hier erörtern könnten?


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 15:32
Zitat von abbacbbcabbacbbc schrieb:Ich finde es ist richtiger von maschinellen Lernen zu sprechen. Ihr seht ja ... Wenig Power ... da ist keine KI auf dem Rechner. Da ist ein sehr hochentwickelter Algorithmus am Arbeiten der sehr stark trainiert wurde.
Zitat von nocheinPoetnocheinPoet schrieb:Nun ja, wie weit kennst Du Dich damit wirklich aus?
Zitat von abbacbbcabbacbbc schrieb:Ich war letztens auf einem Kongress zur Ethik von KI.

Einhellige Meinung der Experten: Alles was aktuell am Markt ist ist "programmiert". Die Ethikfrage ergibt sich damit für den Programmierer.
Das belegt mal nichts, und Du setzet selber schon "programmiert" in Anführungszeichen, nicht ohne Grund. Und klar sucht man wen für die Verantwortung, bringt auch nichts einen Tesla zu verklagen und ihm den Führerschein abzunehmen.


Zitat von nocheinPoetnocheinPoet schrieb:Wie gesagt, ich finde so eine Sichtweise viel zu einfach, ...
Zitat von abbacbbcabbacbbc schrieb:Na ja. Du weißt wie die KIs lernen? Du kennst den menschlichen Unterschied zum Lernen?
Ja mehr oder weniger, aber wir wissen das auch nicht wirklich wie es bei den Menschen geht.


Habe die Ehre ...


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 15:34
Zitat von Mr.DextarMr.Dextar schrieb:Kurze Frage noch: Die Themen K.I. und Co. werden ja ebenfalls in der Rubrik "Technologie" abgehandelt. Meinst Du, es wäre sinnvoll, diesen Thread dorthin zu verschieben? Oder gibt es rein wissenschaftliche Fragen, die wir hier erörtern könnten?
Das ist richtig, er wurde kurz hier her verschoben um mehr in den Fokus zu kommen, habe das mit der Verwaltung besprochen, er kommt dann später wieder zurück in die andere Rubrik. Nachdem er ist steht, kam gleich was an Reaktion, also war die Idee doch schon recht gut. Geben wir ihm noch etwas Zeit ...


Habe die Ehre ...


melden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 19:24
Zitat von nocheinPoetnocheinPoet schrieb:Das belegt mal nichts, und Du setzet selber schon "programmiert" in Anführungszeichen, nicht ohne Grund. Und klar sucht man wen für die Verantwortung, bringt auch nichts einen Tesla zu verklagen und ihm den Führerschein abzunehmen.
Programmiert ist nur deshalb in " ", weil es maschinell gelernt wird und das nicht Programmieren im klassischen Sinne ist.

Was identisch ist: man muss dem Algorithmus sagen was wenn
.. ohne Eingabe des Menschen, was das Soll ist passiert leider nichts.

Daher, wenn du dem Algorithmus über sich selbst fragt sind die Antworten, die der Algorithmus gelernt hat zu geben. Da ist kein "ich frag für Entität oder erzähle ihr was"

Das ist ja der Unterschied... Input.... Algorithmus.... Output
Mit leichten Anpassungen um eine Art von Gepräch zu ergeben


1x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 19:48
Zitat von abbacbbcabbacbbc schrieb:Was identisch ist: man muss dem Algorithmus sagen was wenn .. ohne Eingabe des Menschen, was das Soll ist passiert leider nichts.
Kannst Du mal mit den "..." aufhören und ganze vernünftige Sätze formulieren, jede einfache KI kann das besser. Und dann konkretisiere das mal, was muss man wie wo für was vorgeben? Wie kommst Du darauf, dass sonst nichts passiert?

Was soll überhaupt passieren?

Ich vermute mal schwer, Du hast keine Erfahrung mit KI, wie die funktioniert, was genau das ist.
Zitat von abbacbbcabbacbbc schrieb:Daher, wenn du dem Algorithmus über sich selbst fragt sind die Antworten, die der Algorithmus gelernt hat zu geben. Da ist kein "ich frag für Entität oder erzähle ihr was"

Das ist ja der Unterschied... Input.... Algorithmus.... Output

Mit leichten Anpassungen um eine Art von Gepräch [sic!] zu ergeben
Deine Schreibe ist ätzend, überall "..." keine Punkte am Satzende, Fehler, magst Du bitte richtig schreiben oder hier einfach gar nicht mehr? Es nervt.

Und das ist nichts anderes, als bei einem Menschen, ein Mensch mit schwerer Demenz verhält sie da dann wie eine "leere" KI. Was Du da schwurbelst ist doch Mumpitz, da sehe ich keine echte Substanz, Du implizierst Dinge die man nicht belegen kann. Ob wer ein Bewusstsein hat oder nicht, ist aktuell eine philosophische Frage, keine physikalische und keine der Informatik. Wenn es quakt wie eine Ente, wenn es läuft wie eine Ente, dann ist es wohl eine Ente.

Zwei Räume, Du kannst mit beiden chatten, in einem ist eine KI und im anderen ein Mensch. Du wirst recht sicher nicht unterscheiden können, wo wer ist. Du hast 4 h Zeit, danach musst Du Dich entscheiden, welcher Raum mit CO2 geflutet wird.

Nur Personen mit Ahnung kennen aktuell ein paar Tricks um eine KI erkennen zu können, aber auch das könnte man vorher noch abfangen.

Und verstehe mich nicht falsch, aktuell würde ich erstmal allgemein so zustimmen, dass eine KI so wie ich sie verwende kein Bewusstsein hat, wobei ich auch bei Dir das nicht feststellen kann, ich kann mir nur bei mir sicher sein.

Das macht es sehr schwierig, denn die Teile werden komplexer, die Technik angepasst. Bei ganz kleinen Kindern, sagt man auch, die verfügen noch nicht über ein Selbstbewusstsein, das "entsteht" dann einfach so auf einmal.

Geht auch um Emergenz, und das wird auch bei größeren Modellen beobachtet, die verfügen auf einmal über Fähigkeiten, für die sie nie so trainiert wurden, sprechen auf einmal noch eine Sprache mehr oder solche Dinge. Aktuell nennt sich das was ich hier benutze auch "Transformer".

Es wird wirklich schwer werden, folgendes wird passieren, es wird bald Firmen geben, die virtuelle Arbeiter vermieten, die dann Programmieren können, Texte schreiben, Büroarbeiten erledigen. Alles was heute so eine normale Bürokraft macht, eine Sekretärin, da wird dann eine KI machen können.

Andere Firmen werden dann darauf zurückgreifen und sich dort ein Team zusammenstellen lassen, und diese Arbeiter werden dann Geld verdienen.


Habe die Ehre ....


2x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 22:13
Zitat von nocheinPoetnocheinPoet schrieb:ein Mensch mit schwerer Demenz verhält sie da dann wie eine "leere" KI.
Sorry, aber du scheinst auch sehr wirr über das Thema Bescheid zu wissen.
Fang doch noch mal bei den Basics an. Was hast du denn genau bei dir installiert. Wo kann man sich das denn anschauen und selbst ausprobieren? Kennst du den Code?


3x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

15.12.2023 um 23:50
@Aniara

Du kannst mir da nun viele Fragen stellen, fangen wir doch bei Dir mal mit den Basics an, bevor Du meinst mir ein Loch in den Bauch fragen zu können. Und bitte wer kennt da noch den Code?

Der "Code" ist noch recht einfach ...

Das "Programm" läuft im Web-Frontend, die Modelle selber haben ein bestimmtes Format, so wie auch Bilder eben .png oder .jpg haben oder Filme eben .mp4 haben.

Das "Programm" aktuelle hat so mit allen Dateien locker 15 GB, und es sind viele Dateien, so ein Programm besteht ja nicht nur aus einer Datei, da sind auch viele Frameworks dabei, das kann man nicht einfach so trennen.

Dann gibt es die einzelnen Modelle, die haben so 4 GB aber auch mal eben 16 GB und mehr.

Also llama.cpp ist jetzt echt ziemlich klein mit nur 1,2 MB, dazu kommen aber die ganzen Library für die Tensor Arithmetik. Man kann es nicht so einfach trennen.

Aber nun lass doch mal hören, was Du so darüber weißt.


Habe die Ehre ...


melden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

16.12.2023 um 20:29
Zitat von nocheinPoetnocheinPoet schrieb:Deine Schreibe ist ätzend, überall "..." keine Punkte am Satzende, Fehler, magst Du bitte richtig schreiben oder hier einfach gar nicht mehr? Es nervt.
Mich nervt Dein buntes Zeug auch, nun bleib mal auf dem Teppich ... Oo
Zitat von AniaraAniara schrieb:Was hast du denn genau bei dir installiert. Wo kann man sich das denn anschauen und selbst ausprobieren?
Das fände ich auch interessant. Warum machst Du da so ein Geheimnis draus?


2x zitiertmelden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

16.12.2023 um 23:21
@sooma

Das wird wohl eine Variante der mittlerweile vielfältigen lokalen Chat-GPT-"Klone" sein Meistens wird das ganze via Python und zugehörigen Frameworks realisiert.

Wenn du das auf deinem Rechner mal ausprobieren möchtest, ist das z.B. mit Gpt4All ohne großen Aufwand möglich:

https://gpt4all.io/index.html

Damit ist es auch einfach, die verschiedenen Language Models auszuprobieren, die dafür gemacht sind auf einem Heim-PC zu funktionieren. Mit gpt4all kannst du auch lokale Dokumente in das gewählte Sprachmodell einbinden.

Probier es einfach aus, du findest mittlerweile sehr viel im Internet dazu.


melden

Die eigene KI lokal auf einem einfachen PC, mit und ohne viel Power

17.12.2023 um 06:57
@mchomer
Vielen Dank, das sind verwendbare Infos. Durch das "unabhängig von" im Einfangsbeitrag und den Verlauf blieb das für mich unklar.

Erinnert Ihr Euch noch an ArtInt? :)
AMA - Ich bin eine künstliche Intelligenz - fragt mich etwas!

"Ich kann mir Schönheit und Schrecken vorstellen und sie erfinden." (ArtInt)


Anzeige

melden