Beiträge nutzen für Zettelkasten - automatisiert kuratieren lassen

Servus,

ich bin begeistert von den Möglichkeiten, welche uns die künstliche Intelligenz bietet, und suche immer neue Anwendungsmöglichkeiten. Nun verarbeitet KI Texte, klar. Fast nirgendwo anders habe ich über die vielen Jahre mehr Texte hinterlassen als auf Allmystery. Diesen Datenschatz wollte ich für mich heben. Diese Texte sind teilweise sehr persönlich. Was passiert, wenn man ein LLM damit trainiert? Wenn man einem LLM Zugriff auf eine Datenbank gibt, welche diese Texte beinhaltet? Was wird in Zukunft noch möglich sein, im Rahmen einer persönlichen KI-Assistenz?

Einen Zwischenschritt habe ich nun gelöst. Und dabei lag das Format für mich auch klar auf der Hand: Zettelkasten – Your Second Brain.

Dafür habe ich zwei Scripts geschrieben – oder schreiben lassen 😅. Dank geht raus an Gemini.
Das eine nutzt man mit Tampermonkey. Damit bezieht man die Forenbeiträge. Das andere Script bereitet die Daten auf und schickt diese an ein LLM.

Wie genau alles funktioniert und wie ihr an das Script kommt, findet ihr auf meiner GitHub-Page: Github

Zwar habe ich die Nutzung auch über Ollama möglich gemacht, jedoch sind die LLM-Modelle, die ich getestet habe, mit der Aufgabe überfordert, wie ich finde. Und ohne entsprechende Hardware dauert dieser Prozess einfach viel zu lange. Die besten Ergebnisse habe ich mit Gemini 2.5 bekommen.

Wie bereits geschrieben, sind die Texte auf Allmy teilweise sehr persönlich. Als ich mich irgendwann mal hier angemeldet habe, tat ich das im Glauben an die Anonymität – keine Ahnung, wie es euch mal ergangen ist? Ich bin kein Aluhut-Träger, aber gewisse Entwicklungen lösen in mir ein ungutes Gefühl aus. Ich wollte es Google dann doch nicht so leicht machen darzulegen, wie ich so denke. Das ist ein frommer Wunsch. Dennoch – für das Gefühl habe ich einen Guide gefunden, wie man ein Google-Konto ohne Mobilnummer erstellen kann:
Giga: Google-Konto ohne Telefonnummer erstellen & bestätigen (in 2024)

Meiner Meinung nach könnten beide Seiten profitieren.
Mit der Aktivität auf Allmystery füllt man auch das Second Brain.

Ein Zettelkasten ist eine wundervolle Idee. Natürlich kann eine KI aus einem Beitrag mit wenig Inhalt nur schwer etwas herausziehen (das nicht einfach nur Blabla ist). Je höherwertiger die Beiträge und je mehr Kontext, desto besser und persönlicher wird auch der Zettelkasten.

Nun würde mich eure Meinung zu dieser Idee interessieren.

Besonders würde ich mich freuen, wenn jemand das Ganze auch tatsächlich testet.
Mit welchem LLM macht ihr die besten Erfahrungen in Verbindung mit dieser Idee? Welchen System-Prompt nutzt ihr?

Negev schrieb am 10.04.2025:tat ich das im Glauben an die Anonymitä

Mit einer KI könnte man z.B. aber Allmy auf alle Texte eines Users hin "zerfleischen" lassen und damit Dinge herausfinden, von denen der Betroffene denkt, dass da niemand drauf kommt.
Z.B. könnte man bei versteckten Usern schauen, wann sie wo gepostet haben und somit könnte man evtl. ein sehr genaues Profil der Leute erstellen, wann sie eben online sein müssten (Facebook, etc. machen das ja auch).

Wenn man dann noch die Posts inhaltlich untersuchen lässt, lässt sich mit diesen Daten wer weiß was anstellen.
Und das ganze geht auch ohne KI, dauert aber entschieden länger.

Wenn ich dann noch weiß oder herausfinde, wo die Leute noch so angemeldet sind, was sie machen, etc. pp.... Auwei, mir kommen ganz böse Gedanken.

Gucky.

Gucky87 schrieb:Mit einer KI könnte man z.B. aber Allmy auf alle Texte eines Users hin "zerfleischen" lassen und damit Dinge herausfinden, von denen der Betroffene denkt, dass da niemand drauf kommt.

Beiträge der großen Plattformen sind Safe in den Trainingsdaten. Meta hat auch schon angekündigt, es wolle WhatsApp Daten fürs Training nutzen. EU Bürgen können dem widersprechen. Wenn die Allmy-Forenbeiträge nicht schon in den Daten sind, dann nur weil Allmy keiner sonst kennt.

Naja. Und klar, der ganze Spaß könnte in die komplette Dystopie führen. Aber dann haben wir andere Sorgen...

Negev schrieb am 10.04.2025:Zwar habe ich die Nutzung auch über Ollama möglich gemacht, jedoch sind die LLM-Modelle, die ich getestet habe, mit der Aufgabe überfordert, wie ich finde. Und ohne entsprechende Hardware dauert dieser Prozess einfach viel zu lange. Die besten Ergebnisse habe ich mit Gemini 2.5 bekommen.

Klingt für mich eher so als würdest du RAG verwenden statt fine tuning zu betreiben:

https://www.ibm.com/de-de/think/topics/rag-vs-fine-tuning

Negev schrieb am 10.04.2025:Besonders würde ich mich freuen, wenn jemand das Ganze auch tatsächlich testet.

Wenn ich die morgendliche Trägheit überwunden habe, werde ich mir das mal für meine Beiträge ansehen.
Auch wenn das Erstellen von Datasets zum Finetuning nicht ganz so trivial werden dürfte. Lokal ist RAG oft leider eher ein Krampf. Wobei fine-tuning auch...

mchomer schrieb:Klingt für mich eher so als würdest du RAG verwenden statt fine tuning zu betreiben:

Wenn ich die Daten zusammen hab, es sind über 900 Anfragen und etwas weniger als 600 wurden erledigt (pro Tag darf man etwa 30 Aufträge abschicken), werde ich RAG ausprobieren. So schwer soll das tatsächlich nicht sein. Mit dem Browser Addon Page Assist für Firefox kann man bspw. ein RAG erstellen.

Aber was ich bislang selbst so gehört und erlebt hab (meine Trägheit verhindert bislang tiefere Experimente in dieser Richtung) weist eher darauf hin, das man ein RAG erstellt, um fragen über die gespeicherten Daten zu stellen. Ob das eine Sache das RAG-Systemprompts ist? Das kann sinnvoll sein um die Texte/Daten auszuwerten.

Finetunig macht man, weil man möchte, das ein LLM einen bestimmten Schreibstil übernimmt.

Ich will aber eine persönliche Ansprache erreichen. Das mich das System "kennt". Ich glaube, das lässt sich nur durch Promptinjektion erreichen. Also ich stelle eine random Anfrage und das System kennt schon die wichtigsten Basics von mir und kann schon Texte (die in einer Datenbank sind) heraussuchen, die zu dieser Anfrage passen könnten. Das wir dann als Context mitgeschickt.

Das Thema ist aber auch, das OpenAI diese oder zumindest eine ähnliche Funktion schon implementiert haben will. Ich bin Aktuell kein zahlender Kunde. Aber auch sonst: Derartige Assistenten liegen einfach auf der Hand. Das muss irgendwann kommen.

@Negev

Ach so, du hast also bisher einfach nur mal geschaut, was passiert, wenn du mal beispielsweise eine Textdatei mit deinen Beiträgen "hochlädst" und ein paar Fragen stellst?

Negev schrieb:Das Thema ist aber auch, das OpenAI diese oder zumindest eine ähnliche Funktion schon implementiert haben will. Ich bin Aktuell kein zahlender Kunde.

In der Plus-Variante müsste das gehen. Allerdings musst du das dann auch entsprechend anbinden und aufbereiten. Aber keine Ahnung, wie gut das dann am Ende funktioniert.
Ich finde sowas in lokalem Varianten immer ein wenig interessanter, aber das ist zuweilen ziemlich ermüdend.

mchomer schrieb:Ach so, du hast also bisher einfach nur mal geschaut, was passiert, wenn du mal beispielsweise eine Textdatei mit deinen Beiträgen "hochlädst" und ein paar Fragen stellst?

Sprichst du über RAG? Ich hab mit besagtem Addon ein Buch (600 Seiten) in ein solches System geladen und wollte über dieses mit dem LLM Quasseln. Das LLM hat aber wirklich ständig auf das Buch referenziert. Ich habs gelassen und aus den Augen verloren. Vielleicht kann man tatsächlich ein Systemprompt so schreiben, das dass LLM freier ist. Darüber hinaus hat das Verfahren auch länger gedauert, weil das LLM natürlich erst die Daten durchsucht hat.

Das Script hier ist gerade wirklich nur dazu da, um sich die Forenbeiträge zu holen und aufbereiten zu lassen. Das Funktioniert wunderbar.

@Negev

Ach, okay. Ja.
Das mit der Warterei ist ein Motivationskiller.
Und wenn man es schneller will, eigentlich viel zu teuer, um es mal auszuprobieren.

mchomer schrieb:Und wenn man es schneller will, eigentlich viel zu teuer, um es mal auszuprobieren.

Hab die API von OpenAI nur einmal benutzt. Für manche Usecases soll sie sogar günstiger sein, als das Monatsabo. Weil man eben nur für den Verbrauch zahlt.

Claude hat eine Plattform für Entwickler und das soll richtig teuer sein. Aber da ist der Input halt auch immer entsprechend lang

Mir ist gerade etwas eingefallen. Mit dem Tool n8n kann man sich Agents erstellen. Wenn man nun als User eine Antrage stellt, könnte der erste Agent eine Frage daraus formulieren und das RAG durchsuchen. Der zweite Agent bekommt die Useranfrage und das Ergabnis des ersten Agent als Context.

Das will ich aber nicht Lokal laufen lassen... 😀

Ich will eine direkte Unterhaltung führen und keine Brieffreundschaft mit meinem Lokalen LLM unterhalten.

@Negev

Was mit gerade an dem Tampermonkey-Skript auffällt:
- die Beiträge von heute und gestern werden nicht abgegriffen und fehlen in der JSON-Ausgabe
- zumindest unter dem Vivaldi-Browser, welcher auf Chromium basiert, funktioniert das Skript nicht; es taucht kein grüner Button auf. Unter Zen, einem Firefox basierenden Browser, funktioniert das Skript wunderbar
- die JSON-Struktur ist eng mit spezifischen IDs gekoppelt:
"vo131767": { "title": "Vermisst du ehemalige User von Allmystery?", "category": "Umfragen", "diary": { "themen/vo131767-148#id36220815": { "date": "25.04.2025", "article": "Da weiß ich ehrlich gesagt nicht, ..." } [...]
ein Aufbau im Stile:
"id": "vo131767", "title": "Vermisst du ehemalige User von Allmystery?", "category": "Umfragen", "diaryEntries": [ { "id": "themen/vo131767-148#id36220815", "date": "25.04.2025", [...]
ist ein wenig einfacher zu handhaben :)
- in der Regel bietet es sich an, Datumsangaben im ISO-Format anzugeben. Also statt 25.04.2025 lieber 2025-04-25, das kann zuweilen die Weiterverarbeitung erleichtern

Aber Danke, damit kann ich auf jeden Fall schon mal arbeiten und versuchen, einen KI-Klon zu erstellen, der hier dann in Rekordzeit alle Beitragsrekorde einstellt :D :troll: