Clash
Menschen Wissenschaft Politik Mystery Kriminalfälle Spiritualität Verschwörungen Technologie Ufologie Natur Umfragen Unterhaltung
weitere Rubriken
PhilosophieTräumeOrteEsoterikLiteraturAstronomieHelpdeskGruppenGamingFilmeMusikClashVerbesserungenAllmysteryEnglish
Diskussions-Übersichten
BesuchtTeilgenommenAlleNeueGeschlossenLesenswertSchlüsselwörter
Schiebe oft benutzte Tabs in die Navigationsleiste (zurücksetzen).

CoA 2017 AF 4 - SilentCry vs. Interpreter

70 Beiträge ▪ Schlüsselwörter: Coa 2017, Interpreter, Achtelfinale ▪ Abonnieren: Feed E-Mail

CoA 2017 AF 4 - SilentCry vs. Interpreter

12.05.2017 um 21:52
Zitat von RayWondersRayWonders schrieb:KI können nicht lesen und verstehen. Alexa z.b. arbeitet wie schon an anderem Beispiel beschrieben lediglich mit Vergleichen.
Es erkennt Worte in einem Satz. Wenn ich Alexa einen Satz gebe, in dem die Schlüsselworte auftauchen, aber in einem anderen Sinnzusammenhang stehen, dann wird das Alexa falsch interpretieren und nicht so verstehen.
Zitat von RayWondersRayWonders schrieb:Gefahren von falscher Bewertung durch KIs sind vorhanden, nicht jedoch eigene Ideen und Aktionen wie es in Filmen und Büchern darfstellt wird.
Wir reden in diesem Thema über Weiterentwicklungen und der Umstand, dass heutige KI das nicht kann ist keineswegs ein Garant für die Zukunft.
Im Jahre 2013 wurde auf eine KI-Konferenz unter dem anwesenem Fachpublikum eine Umfrage gemacht, wann es soweit ist, dass die ersten KIs mit den kognitiven Fähigkeiten von Menschen entstehen.
Man spricht von genereller Künstlicher Intelligenz also künstlicher Intelligenz die nicht auf einzelne Aufgaben eingeschränkt ist, wie Googles Suchalgorithmus. Englisch AGI

http://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html
Median optimistic year (10% likelihood): 2022
Median realistic year (50% likelihood): 2040
Median pessimistic year (90% likelihood): 2075
Eine Andere Umfrage aus dem gleichen Artikel bestätigt diese Perspektive:
A separate study, conducted recently by author James Barrat at Ben Goertzel’s annual AGI Conference, did away with percentages and simply asked when participants thought AGI would be achieved—by 2030, by 2050, by 2100, after 2100, or never. The results:3

By 2030: 42% of respondents
By 2050: 25%
By 2100: 20%
After 2100: 10%
Never: 2%
Eine solche KI hätten in allen Aspekten Fähigkeiten die einem Menschen ähneln oder weit darüber hinausgehen.
We then examined why it was such a huge challenge to get from ANI to Artificial General Intelligence, or AGI (AI that’s at least as intellectually capable as a human, across the board),
Sie könnte lesen, schreiben, lernen und Nachkommen programmieren.

Das ist das Szenario um das es mir geht... nicht um Alexa.

Anzeige
melden

CoA 2017 AF 4 - SilentCry vs. Interpreter

12.05.2017 um 22:40
Danke für den Link, etwas viel auf die Schnelle :)

Gefunden habe ich zu 'ASI' diesen Abschnit :
Ein zielstrebiges, seriöses Projekt zur direkten Erschaffung einer Superintelligenz existiert nicht. Jedoch zeichnen sich im Bereich der Simulation erste Erfolge ab, die im Rahmen verschiedener Großprojekte wie dem Human Brain Project der EU (Etat 1 Mrd. EUR) und der Brain Activity Map Project der USA (Etat 3 Mrd. US-$) in einer vollständigen Nachbildung des menschlichen Gehirns münden sollen.
Quelle: Wikipedia: Superintelligenz

Interessant finde ich hier auch vor allem, dass der Forschungs-Etat mit angesprochen wird.
Eigentlich hatte ich das nicht vor zu erwähnen, um nicht in eine Ecke gedrängt zu werden, aber wenn Forscher davon sprechen, was sie zu erreichen imstande sind oder sich erträumen, dann kann das auch oft etwas verfälscht sein. Wenn man den Geldgebern immer wieder von den hoffentlich zu erreichenden Zielen berichtet, dann bleibt auch der Geldhahn geöffnet und es fließen Fördergelder, mit denen Forscher und Entwickler bezahlt werden.

Elon Musk z.b. wird in einem Artikel so beschrieben:
Musk ist ein Politikerflüsterer. Er ist nicht nur verrückt genug zu denken, dass er die Welt retten oder bei Misserfolg zumindest auf einen anderen Planeten übersiedeln kann, er ist auch ein Meister in der Kunst, Menschen für seine Ideen zu begeistern. Tesla, SpaceX oder die Solaranlagenfirma Solar City sind nämlich nicht wegen ihrer fetten Gewinne so hoch an der Börse bewertet, denn von Gewinnen kann keine Rede sein: Tesla erwirtschaftete 2014 einen Verlust von knapp 300 Millionen Dollar, SpaceX ein Minus von 56 Millionen. Was die Anleger bewegt, ist das Versprechen einer glänzenden Zukunft, das vom Chef höchstselbst immer wieder erneuert wird.
Quelle: http://www.sueddeutsche.de/wirtschaft/elon-musk-der-milliardenmann-1.2528815

aber damit komme ich ein wenig vom Thema ab...

Das Abstimmungs-Ergebnis ist in meinen Augen auch nicht besonders aussagekräftig. Was für die Abstimmung spricht, sind diejenigen die eine Stimme abgaben. Diese haben wohl den wissenschaftlich besten Background, um diesen Zahlen eine Bedeutung zu geben. Ich denke aber, dass es dennoch reine Vermutung und Spekulation ist. Denn wenn sie jetzt schon genau wüssten wie das, über was sie da abstimmten zu ermöglichen wäre - dann würde es dies zumindest schon in der Theorie geben.

Der Wikipedia-Artikel scheint mir da Gegenteiliges auszusagen, dass es keine seriösen wissenschaftlich fundierten Ansätze in Projekten gibt - so dass ASI absehbar ist/wäre.

es gibt aber auch andere Meinungen wie es scheint:
The main problem is people don't know how to build one. If they knew how, then it would be feasible with the supercomputing power we have today.
Dieser Person (die nach eigenen Angaben in dem Bereich tätig ist) ist also auch der Meinung, dass mit derzeitigen technischen Möglichkeiten/Geschwindigkeiten so etwas wie eine ASI schon möglich sein müsste, wenn man denn eine genaue Vorstellung davon hätte, wie man das erschaffen könnte.

Quelle (zweite Antwort): https://www.quora.com/Shouldnt-an-artificial-super-intelligence-ASI-be-possible-today

Tut mir leid, aber die Abstimmung klingt für mich nach Spekulation, auch wenn hier fähige Köpfe und Wissenschaftler diese Frage nach einer Wahrscheinlichkeit gestellt wurde.

Vor allem auch der Anspruch ein Gehirn vollständig nachzubilden (wie auf Wikipedia erklärt), wo doch selbst Neuro-Wissenschaftler dieses noch nicht vollständig verstanden haben, erscheint mir als unmöglich.
Aber wir drehen uns da im Kreis. Ich vermute das eine und du das Gegensätzliche.


5x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

12.05.2017 um 23:06
@RayWonders
Zitat von RayWondersRayWonders schrieb:Tut mir leid, aber die Abstimmung klingt für mich nach Spekulation, auch wenn hier fähige Köpfe und Wissenschaftler diese Frage nach einer Wahrscheinlichkeit gestellt wurde.
Du wirfst hier etwas, dass als Spekulation deklariert ist, vor Spekulation zu sein :D

Angesichts der Tatsache, dass sie eine Aussage über eine Wahrscheinlichkeit abgeben sollten ist es natürlich eine Spekulation. Aber du verkennst die Tragweite dieser Sache. Von den Fachleuten, deren Kompetenz du ja selber anerkennst, sagen nur 2% !!!! das AGI also KI auf menschlichem Niveau nie erreicht wird.

Ist es möglich, dass sie sich in ihrer zeitlichen Projektion verschätzen?  Natürlich aber das könnte ebensogut heißen, dass KI weit früher kommt. Wie du darstellst, gibt es die technischen Möglichkeiten schon Heute.

Man erlaube mir diesen kleinen Exkurs in die Metaebene, weil ich gerne fragen würde, bei welchem Thema und mit welchen Argumenten du dich gerade siehst.

Willst du uns überzeugen, dass das Ziel der Entwicklung nicht zu erreichen ist?

Dann solltest du dir die Frage stellen, ob es dann (im Sinne unseres Themas) sinnvoll ist, in diese Hinsicht zu forschen. Und wie passt das mit den vorher dargestellten Szenarien zusammen in denen man eine eventuell entstehende KI mit EMP-Waffen bekämpft?

Oder willst du einfach in Frage stellen, dass es passieren könnte? Sagen, dass es nicht so wahrscheinlich ist, Zweifel sähen?

Dann muss ich dir sagen ich zweifele selber. Ob es passieren wird, weiß ich ebenso wenig wie die Wissenschafter, die gebeten wurden eine prozentuale Wahrscheinlichkeit auszurechnen.

Der beste Umgang mit solchen Problemen ist es, mit sogenannten Erwartungswerten zu rechnen.

Nehmen wir an, dass die KI in 10% der Fälle, den Status von Superintelligenz erreicht und und in 10% dieser Fälle aus unserer Sicht böswillige Ziele verfolgt und diese (als Superintelligenz) auch umsetzen kann.

besteht eine 1% Chance auf die Ausrottung der Menschheit oder etwa 8 Milliarden Tote.

Unserer Erwartungswert also selbst bei dieser extrem konservativen Schätzung ist, dass die Entwicklung von KI im Durchschnitt 1% von 8Millarden also 80 Millionen Leben kostet.

Aus meiner Sicht ist das ein sehr guter Grund sie als zu gefährlich anzusehen und darauf zu verzichten.

Was ist dein Grund damit weiterzumachen?


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

12.05.2017 um 23:41
Zitat von interpreterinterpreter schrieb:Von den Fachleuten, deren Kompetenz du ja selber anerkennst, sagen nur 2% !!!! das AGI also KI auf menschlichem Niveau nie erreicht wird.
Ich sehe es eher anders herum. Wenn von den wissenschaftlichen Fachleuten immerhin mehr als 2 (2005 nahmen 175 Personen teil an dieser Konferenz: https://www.dartmouth.edu/~ai50/homepage.html (Archiv-Version vom 21.05.2017) ) der Meinung sind, dass die Möglichkeit besteht, so etwas niemals zu entwickeln zu erschaffen - dann könnte da auch etwas dran sein.
Aber da befinden wir uns wieder im Bereich des Nicht-Wissens. Waren die 2% vielleicht Teilnehmer die grundsätzlich pessimistisch sind und unvollständiges Wissen im Fachbereich aufweisen. Oder waren die 98% zu optimistisch ohne aktuell einen richtigen Ansatzpunkt zu haben, aber sie wollen gern weiter daran forschen und ihr Gehalt beziehen?
Zitat von interpreterinterpreter schrieb:Willst du uns überzeugen, dass das Ziel der Entwicklung nicht zu erreichen ist?
Ja, ich glaube nicht daran (wie auch 2% der Wissenschaftler ;) ), dass es Menschen jemals schaffen das Gehirn vollständig nachzubilden und ich glaube dass es KIs niemals möglich sein wird Ideen zu haben und Bewertungen zu etwas zu finden, ohne dass Menschen ihnen das einprogrammieren.
Zitat von interpreterinterpreter schrieb:Dann solltest du dir die Frage stellen, ob es dann (im Sinne unseres Themas) sinnvoll ist, in diese Hinsicht zu forschen.
Wie vorhin beschrieben und bekannt gibt es mehrere Unternehmen und Einrichtungen die z.b.von einer Mars-Mission träumen und dieses als erklärtes Ziel ihrer Forschungen ausweisen. Gleichzeitig gibt es Physiker wie Herr Lesch, die öffentlich erklären, dass es für die Menschheit keinen anderen Planeten geben wird zu dem wir 'auswandern' könn(t)en. Er spricht also den Forschern ab, dass so etwas erreichbar wäre.

ziemlich am Ende dieses Videos: Youtube: Harald Lesch   Die Ursache allen Übels    Das Geldsystem    unbedingt anschauen
Harald Lesch Die Ursache allen Übels Das Geldsystem unbedingt anschauen
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.
Zitat von interpreterinterpreter schrieb:Und wie passt das mit den vorher dargestellten Szenarien zusammen in denen man eine eventuell entstehende KI mit EMP-Waffen bekämpft?
Das Thema ist "Gefahr zu groß?".
Dem entsprechend habe ich mir dein Szenario vorgestellt und wie man Gefahren begegnen könnte. Zum Beispiel deine angesprochenen KI-Militär-Machinen. Falls es wirklich mal ein Land geben sollte, das so etwas in den Krieg schickt, dann bin ich sicher haben andere Länder schon längst entsprechende Abwehrmaßnahmen/-machinen entwickelt, die man denen entgegenschickt.
Man kann auch die EnergieVersorgung verhindern - somit wäre es schon mal nicht möglich wochenlang oder länger solche Machinen im Einsatz zu halten, so dass so etwas passiert wie dein Szenario der Millionen von Toten (Munition als Nachschub braucht man da ja auch).
Zitat von interpreterinterpreter schrieb:Was ist dein Grund damit weiterzumachen?
EIN Grund ist: derzeitige KI machen noch einige Fehler und durch WeiterEntwicklung werden diese besser.
Zitat von interpreterinterpreter schrieb:besteht eine 1% Chance auf die Ausrottung der Menschheit oder etwa 8 Milliarden tote.
Damit eine KI das bewerkstelligt, muss sehr viel passieren, ohne dass die Menschen gegensteuern.
Das wird mMn niemals so stattfinden. Die Entwickler wissen um die Gefahr und werden Machinen keine Befugnisse in der Größenordnung geben.


2x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 00:13
Zitat von RayWondersRayWonders schrieb:Ich sehe es eher anders herum. Wenn von den wissenschaftlichen Fachleuten immerhin mehr als 2 (2005 nahmen 175 Personen teil an dieser Konferenz: https://www.dartmouth.edu/~ai50/homepage.html (Archiv-Version vom 21.05.2017) ) der Meinung sind, dass die Möglichkeit besteht, so etwas niemals zu entwickeln zu erschaffen - dann könnte da auch etwas dran sein.
Das kann man wohl ein Paradebeispiel selektiver Wahrnehmung nennen. Von 175 Leuten sagen dir 173 dass, es nicht so ist wie du es siehst und du vertraust den Zweien die deiner Meinung sind. 
Du rechnest dir die Sache schön.
Zitat von RayWondersRayWonders schrieb:Ja, ich glaube nicht daran (wie auch 2% der Wissenschaftler ;) ), dass es Menschen jemals schaffen das Gehirn vollständig nachzubilden und ich glaube dass es KIs niemals möglich sein wird Ideen zu haben und Bewertungen zu etwas zu finden, ohne dass Menschen ihnen das einprogrammieren.
Forscher haben schon Bauteile des Hirns nachgebildet:

http://www.sciencealert.com/scientists-build-an-artificial-neuron-that-fully-mimics-a-human-brain-cell

Das Hirn komplett nachzubauen ist also nur eine Frage, ein paar Milliarden dieser Bauteile zusammenzusetzen. Das mag vielleicht nicht Morgen passieren aber es auszuschließen scheint mir doch wesentlich zu weit gegriffen.
Zitat von RayWondersRayWonders schrieb:Dem entsprechend habe ich mir dein Szenario vorgestellt und wie man Gefahren begegnen könnte. Zum Beispiel deine angesprochenen KI-Militär-Machinen. Falls es wirklich mal ein Land geben sollte, das so etwas in den Krieg schickt, dann bin ich sicher haben andere Länder schon längst entsprechende Abwehrmaßnahmen/-machinen entwickelt, die man denen entgegenschickt.
Du stellst ein Verteidigungsszenario vor, für eine Situation die du für absolut unmöglich hältst?  Klingt doch ein wenig merkwürdig. Ja geradezu widersprüchlich ehrlich gesagt.
Zitat von RayWondersRayWonders schrieb: Gleichzeitig gibt es Physiker wie Herr Lesch, die öffentlich erklären, dass es für die Menschheit keinen anderen Planeten geben wird zu dem wir 'auswandern' könn(t)en. Er spricht also den Forschern ab, dass so etwas erreichbar wäre.
Keine Ahnung, was du damit sagen willst.
Zitat von RayWondersRayWonders schrieb:EIN Grund ist: derzeitige KI machen noch einige Fehler und durch WeiterEntwicklung werden diese besser.
Ein Selbstzweck?  KI weiterentwickeln um KI zu verbessern?  Erscheint mir nicht sehr sinnvoll muss ich sagen.  Hältst du das wirklich für ausreichend um das gewaltige Risiko auszugleichen, was damit potenziell einhergehen könnte?
Vergessen wir dabei nicht, dass 98% der Wissenschaftler der Meinung sind, dass dieses Szenario absolut möglich ist.
Zitat von RayWondersRayWonders schrieb:Das wird mMn niemals so stattfinden. Die Entwickler wissen um die Gefahr und werden Machinen keine Befugnisse in der Größenordnung geben.
Klingt mir wie berühmte letzte Worte.  Die Male, in denen sich Jemand mit solchen Prognosen geirrt hat sind Legion.

Hast du mal darüber nachgedacht, was ist, wenn einer der Entwickler in diesem Team verrückt ist?

ein Jim Jones mäßiger Psychopath, der das Ende der Welt herbeiführen WILL. Der dazu eventuell ermächtigt werden könnte, durch die Forschung die wir in dieses Gebiet stecken.

Wikipedia: Jim Jones

Du hast oft genug gesagt und wiederholt, dass du das nicht glaubst.  Aber bist du dir auch SICHER? Würdest du sagen, dass diese Wahrscheinlichkeit oder irgendeine dieser Wahrscheinlichkeiten gleich NULL ist?

Wenn du das tust, solltest du meines Erachtens mit ein paar überzeugenden Argumenten dafür aufwarten. Dein Glauben und das blinde Vertrauen in unbekannte und vorallem menschliche Entwickler ist da nicht ausreichend.
Zitat von RayWondersRayWonders schrieb:Das wird mMn niemals so stattfinden. Die Entwickler wissen um die Gefahr und werden Machinen keine Befugnisse in der Größenordnung geben.
Btw. Was ist eigentlich dein Standpunkt?  Dass es technisch unmöglich ist oder dass die Entwickler etwas eigentlich technisch mögliches willentlich verweigern. In diesem Absatz gestehst du ja ein, dass es technisch möglich wäre (für etwas Unmögliches müssten die Entwickler keine Befugnisse verweigern), können wir also den Punkt, dass es unmöglich wäre abhaken?


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 00:48
Zitat von interpreterinterpreter schrieb:Vergessen wir dabei nicht, dass 98% der Wissenschaftler der Meinung sind, dass dieses Szenario absolut möglich ist.
Die Wissenschaftler haben nicht über dein Szenario X3 abgestimmt.
In deiner Dystopie spielen viele Aktionen über einen langen Zeitraum ineinander, die deiner Meinung nach dann auch noch geschehen, ohne dass jmd.etwas davon mitbekommt.

Vielleicht könnte es passieren, dass 1 einzelner Wissenschaftler seine Arbeit mit nach Hause nimmt und wegen seinem Hass auf die Menschheit einen KI-KillerRoboter erschafft. Aber so etwas wie du es beschreibst benötigt eine ganze Menge von Akteuren und Resourcen usw. Heutzutage ist es nicht einmal möglich in einer ForschungsEinrichtung tätig zu sein, ohne Vorab und regelmäßig überprüft zu werden bzgl. Gesinnung.
Zitat von interpreterinterpreter schrieb:Das Hirn komplett nachzubauen ist also nur eine Frage, ein paar Milliarden dieser Bauteile zusammenzusetzen.
Ich habe den Inhalt des Links nicht gelesen. Weiß aber Hirnforscher erklären, dass man die Funktion einer Zelle im Hirn zwar verstehen und beobachten kann, aber nicht wie genau die vielen Neuronen miteinander zusammenarbeiten. Es reicht also nicht eine NeuronenZelle nachzubilden und viele zusammenzuschalten, wenn man nicht weiß wie diese interagieren.
Zitat von interpreterinterpreter schrieb:Ein Selbstzweck?  KI weiterentwickeln um KI zu verbessern?  Erscheint mir nicht sehr sinnvoll muss ich sagen.
Ich persönlich bin der Meinung, dass 'autonomes Fahren' ein Irrsinn ist, aber dieser Weg wurde eingeschlagen. Und wenn das denn gewünscht und erträumt wird, dann besteht mMn die Notwendigkeit dies genau und weiter zu erforschen um Gefahren zu minimieren.
Zitat von interpreterinterpreter schrieb:Du stellst ein Verteidigungsszenario vor, für eine Situation die du für absolut unmöglich hältst?
Du wirfst mir vor dich in dein Szenario hineinzudenken, um der Clash-Fragestellung, ob die Gefahr/Wahrscheinlichkeit zu groß ist, nachzukommen?
Zitat von interpreterinterpreter schrieb:Hast du mal darüber nachgedacht, was ist, wenn einer der Entwickler in diesem Team verrückt ist?
Siehe oben, zu KillerRoboter..
Und wenn es 1er Person, die verrückt ist, möglich ist - dann nützt doch auch ein gesetzlich generell festgelegtes Verbot nichts?
Wieso sollte sich diese Person davon wie aufhalten lassen?


Das was offiziell unter Beobachtung erforscht wird unterliegt alles einer Kontrolle. KI-MilitärMachinen könnte man z.b. auch im Häuserkampf gegen Rebellen einsetzen. Ich bin mir sicher, dass es da viele Soldaten gibt mit der Meinung, das ist besser als sich selbst in diese Gefahr zu begeben.
Zitat von interpreterinterpreter schrieb:Aber bist du dir auch SICHER? Würdest du sagen, dass diese Wahrscheinlichkeit oder irgendeine dieser Wahrscheinlichkeiten gleich NULL ist?
KIs werden mit Sicherheit niemals eigene Ideen (mit folgenden Aktionen) haben.

Ist deiner Meinung nach die Wahrscheinlichkeit gleich NULL, dass aus den ForschungsEinrichtungen die mit Viren und Bakterien handhaben, irgendjmd. etwas entwendet?
Zitat von interpreterinterpreter schrieb:Wenn du das tust, solltest du meines Erachtens mit ein paar überzeugenden Argumenten dafür aufwarten. Dein Glauben und das blinde Vertrauen in unbekannte und vorallem menschliche Entwickler ist da nicht ausreichend.
Du meinst 98% der Wissenschafler in diesem Gebiet haben Recht und so etwas ( ASI ) ist möglich zu erschaffen.
Wenn sie sich das also vorstellen können - wie hält dann ein Verbot sie davon ab?
Zitat von interpreterinterpreter schrieb:Was ist eigentlich dein Standpunkt?
Dass KIs die Gefahr der falschen Beurteilung/Bewertung beinhalten. KIs werden nur in bestimmten Bereichen eingesetzt.


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 00:53
Wikipedia: Seed AI

@RayWonders
Auf deinen Beitrag werde ich Morgen ausführlicher eingehen,

Ein Thema was ich zum Abschluss noch einführen möchte, dass der geneigte Leser die Zeit hat, sich nachts den Kopf darüber zu zerbrechen.

Saat-KI

Eine KI programmiert eine andere KI, die widerum eine andere KI programmiert.
Mit jedem Schritt steigen die Fähigkeiten. Jede nächste KI ist dank der verbesserten Möglichkeiten des Entwicklers ihrerseits besser. Kurzfristig wird das Wachstum Exponentiell und sprengt damit jede Grenze.

Ein Bildband aus dem vorher erwähntem Artikel, Quelle

Train1-1024x836
Train2-1024x836
Train3-1024x836
Train4-600x490

Die KI wird nicht nur klüger als wir, sie wird um so vieles klüger, dass sie bezüglich ihrer Intelligenz zu uns steht, wie wir zu einer Ameise (einer einzelnen ohne Stamm).

Könnten wir eine solche KI kontrollieren? Die Antwort ist fraglos nein.
Könnten wir ihr irgendwelche Fähigkeiten vergeweigern? Wie denn? Wir könnten eine Anwendung der Fähigkeit nichtmal erkennen.
Wäre eine solche KI gutmütig?  Tja das ist die Frage.

Wenn sie es nicht wäre, könnte sie mit uns spielen, wie Kinder es manchmal mit einem Brennglas und Ameisenhaufen machen. Wie ihre Eltern könnte sie Benzin über den Haufen kippen und ihn anzünden.
Sollten wir dieses Risiko eingehen?
Selbst eine sehr geringe Wahrscheinlichkeit, dass alles schief geht, sollte jedem klar denkendem Menschen verbieten so weit zu gehen.
Das begründet sich auf den Erwartungswerten, die ich hier nochmal genauer illustrieren möchte.

Nehmen wir an, eine Wette bringt uns mit 10% Wahrscheinlichkeit 10Euro

Bei 10 Versuchen hätten wir 10 mal nichts und einmal 10 also durchschnittlich 1Euro pro Versuch und damit einen Erwartungswert von 1Euro.
Ob es sinnvoll ist, diese Wette einzugehen hängt von dem Preis für einen Tipp ab. Wenn er geringer als 1Euro ist, ist es eine kluge Entscheidung, wenn er höher ist dann nicht.

Bei der KI haben wir (angenommen 1% Risiko, die Schätzungen der Wissenschaftler sind wie gesagt höher) einen Erwartungswert von 80Millionen Toten. Jede positive Errungenschaft muss also diese 80 Millionen aufwiegen. Das ist der Grund warum es dumm war die Atombombe zu entwickeln und warum es dumm ist, diesen Fehler bei der KI zu wiederholen.


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 10:41
Zitat von interpreterinterpreter schrieb:Eine KI programmiert eine andere KI, die widerum eine andere KI programmiert.
Mit jedem Schritt steigen die Fähigkeiten. Jede nächste KI ist dank der verbesserten Möglichkeiten des Entwicklers ihrerseits besser. Kurzfristig wird das Wachstum Exponentiell und sprengt damit jede Grenze.
Schauen wir uns an was uns der deutsche Wiki-Artikel zu einer Saat-KI erklärt:
Die bisherigen Compiler untersuchen zwar ihren eigenen Code und verbessern diesen, aber dies immer nur einmalig und nicht rekursiv. Die so entstehenden Compiler arbeiten zwar schneller, aber nicht besser als die Vorgänger. Hier endet die bisherige Entwicklung, die neue Version entdeckt niemals neue Optimierungsmethoden oder kann ihren eigenen Programmcode verbessern. Eine richtige Seed AI muss den Anwendungszweck und die Gestaltung des eigenen Programmcodes verstehen, um eine weitere Generation mit verbesserter Intelligenz zu erstellen.
Quelle: Wikipedia: Seed AI

Das ist genau das was ich auch schon anführte. 2 Dinge müssen gegeben sein. Das verstehen des eigenen Codes bzgl. eines Zweckes von Code-Abschnitten und eigene Ideen, die eine KI einbringen müsste in neu geschriebene KIs.

Ich habe noch in einem Forum das hier gefunden:
A Seed AI would be a self-aware AI that is capable of infinite recursive self-improvement. It would be constantly testing and analyzing all possible outcomes at all times, and using that data to constantly improve itself.
Quelle: http://www.escapistmagazine.com/forums/read/18.885227-Why-wouldnt-an-AI-just-decide-to-do-its-job (Archiv-Version vom 24.11.2015)


Hier sind 2 verschiedene Dinge angesprochen. Zum einen 'Selbsterkenntnis' und dann rekursive 'Verbesserung' durch Trial&Error.

Doch was ist 'besser' und wie kann man so etwas erkennen?
Technisch muss die Wertgebung mit einer mathematischen Nutzenfunktion programmiert werden, die Istzuständen der Umgebung der Superintelligenz einen messbaren Nutzen zuweist. In heutigen Programmiersprachen existieren keine Wertbegriffe wie „Glück“ und andere. Die Verwendung von Begriffen aus der Philosophie erweist sich als ungelöst schwierig, da sie nicht in Computersyntax umsetzbar sind. Das Problem ist ferner spiegelbildlich zum Problem des Menschen selbst, Ziele und Werte messbar und nachprüfbar zu formulieren und zu kodifizieren, da Werte unserer komplexen Welt entspringen, der wir uns oft nicht bewusst sind.
Quelle: Wikipedia: Superintelligenz

Auch meiner Meinung nach ist so etwas nicht umsetzbar, dass sich eine KI in kurzer Zeit wie von dir beschrieben entwickelt.
Auf dieser Seite hier habe ich auch noch etwas gefunden zum Thema:
For example, I think the number of developers who work on Microsoft Office is in the thousands. Microsoft Office is complex but is still far simpler than a mammalian brain. Brains have lots of little parts that have been fine-tuned. That kind of complexity requires immense work by software developers to create. The main counterargument is that there may be a simple meta-algorithm that would allow an AI to bootstrap to the point where it could fine-tune all the details on its own, without requiring human inputs. This might be the case, but my guess is that any elegant solution would be hugely expensive computationally. For instance, biological evolution was able to fine-tune the human brain, but it did so with immense amounts of computing power over millions of years.
Quelle: https://foundational-research.org/artificial-intelligence-and-its-implications-for-future-suffering

Es ist also höchst unwahrscheinlich, dass wir als Mensch etwas relativ einfaches programmieren können, das aber doch so 'intelligent' ist, das es sich selbst erkennt und verbessert - und das auch noch in absehbarer Zeit von Jahrzehnten/-hunderten.

was ich auch sehr interessant fande und gut passt zu deinen WorstCaseSzenarien:
Thinking about the most likely AI outcomes rather than the most impactful outcomes also gives us a better platform on which to contemplate other levers for shaping the future, such as non-AI emerging technologies, international relations, governance structures, values, etc. Focusing on a tail AI scenario doesn't inform non-AI work very well because that scenario probably won't happen.
Da sind wir wieder bei Wahrscheinlichkeiten. Da du der Meinung bist 2% sind nicht genug, als dass es ein realistisches Szenario wäre. Wie hoch ist denn die Wahrscheinlichkeit deines X3 WorsCaseSzenarios, wenn man sich anschaut, wie viele verschiedene Wege es geben könnte und wer da wie noch involviert ist. Das liegt mMn sogar noch unter 1Prozent, dass das so stattfindet.
Zitat von interpreterinterpreter schrieb:Bei der KI haben wir (angenommen 1% Risiko, die Schätzungen der Wissenschaftler sind wie gesagt höher) einen Erwartungswert von 80Millionen Toten. Jede positive Errungenschaft muss also diese 80 Millionen aufwiegen. Das ist der Grund warum es dumm war die Atombombe zu entwickeln und warum es dumm ist, diesen Fehler bei der KI zu wiederholen.
Woher hast du diesen Wert der 80Millionen Toten und des Risikos in Prozent?

Etwas in dieser Art aufwiegen ist ein Ding der Unmöglichkeit. Was wäre denn deine Meinung, wenn ich dir den folgenden Abschnitt zitiere:
Im Jahr 2015 zählte die Polizei insgesamt 2,5 Millionen Verkehrsunfälle auf deutschen Straßen. Das waren 4,6 % mehr als im Vorjahr. Dabei starben 3 459 Menschen, 2,4 % oder 82 Menschen mehr als 2014. „Damit ist 2015 die Zahl der Verkehrstoten das zweite Jahr in Folge gestiegen“
Quelle: https://www.destatis.de/DE/PresseService/Presse/Pressemitteilungen/2016/07/PD16_242_46241.html (Archiv-Version vom 14.11.2016)

oder wenn ich dir diese Graphik hier zeige:

https://de.statista.com/statistik/daten/studie/161724/umfrage/verkehrstote-in-deutschland-monatszahlen/

das sind im Schnitt mehr als 200 Tote jeden Monat in Deutschland.. oO
Ist das Auto als Erfindung jetzt noch tragbar in deinen Augen oder geht das gar nicht? ;)


2x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 11:11
Zitat von RayWondersRayWonders schrieb:Vielleicht könnte es passieren, dass 1 einzelner Wissenschaftler seine Arbeit mit nach Hause nimmt und wegen seinem Hass auf die Menschheit einen KI-KillerRoboter erschafft.
Oder einen schwarzen Trans-Am mit rotem Lauflicht in der der Haube, dessen Prototyp er vergisst einzubauen, dass er auf Menschen acht zu geben hat?

Entferne dich mal von diesen albernen Hollywood-Fantasien. Es braucht keinen Killerrrobotter der Sarah-Connor jagt. Die KI vor der wir uns fürchten müssen ist eine Sammlung von Servern in irgendeinem Datenzentrum. Sie kann Emails-schreiben, Telefonanrufe führen und per Online-Banking mit Aktien handeln.
Der persönliche Kontakt ist in der Geschäftswelt eh auf ein Minimum runter gegangen, dass wäre also absolut plausibel und möglich.

Du willst ein EMP darauf werfen? Wenn die KI ähnlich wie ein menschliches Gehirn aus vielen kleinen Einzelteilen aufgebaut ist, kannst du das ohne Erfolg bei einem Datenzentrum machen, die KI könnte noch in vielen anderen sein.

Abgesehen davon musst du erstmal verstehen wo die KI sich befindet. Wenn sie ihre Teile über das Internet auf ein anderes Datenzentrum überträgt, musst du das nicht unbedingt wissen.
Zitat von RayWondersRayWonders schrieb:Du wirfst mir vor dich in dein Szenario hineinzudenken, um der Clash-Fragestellung, ob die Gefahr/Wahrscheinlichkeit zu groß ist, nachzukommen?
Ich werfe dir vor, dass du so krampfhaft versuchst, jeder meiner Aussagen zu widersprechen, dass du dir im Endeffekt selber widersprichst. Wenn die KI nicht funktioniert braucht man ihr keine Fähigkeiten verwehren. Wenn es reicht ihr Fähigkeiten zu verwehren braucht man keinen EMP darauf werfen.

Etwas früher hast du dich mal im Smalltalk beschwert, dass du nicht genug Zeichen hast, auf alles zu reagieren. Hier hast du den Grund.
Zitat von RayWondersRayWonders schrieb:Es ist also höchst unwahrscheinlich, dass wir als Mensch etwas relativ einfaches programmieren können, das aber doch so 'intelligent' ist, das es sich selbst erkennt und verbessert - und das auch noch in absehbarer Zeit von Jahrzehnten/-hunderten.
Du liest einen Artikel der sagt, dass es lange dauerte und viel Rechenleistung gefordert hat und schließt daraus, dass es unwahrscheinlich ist?
In den letzten Jahren hat sich die Computerleistung ständig vergrößert. Die Moorsche Regel spricht von einer Verdopplung alle drei Jahre.

Wir haben die Computerleistung.

Was du übrigens selber eingestanden hast, ein paar Beiträge früher:
Zitat von RayWondersRayWonders schrieb:Dieser Person (die nach eigenen Angaben in dem Bereich tätig ist) ist also auch der Meinung, dass mit derzeitigen technischen Möglichkeiten/Geschwindigkeiten so etwas wie eine ASI schon möglich sein müsste, wenn man denn eine genaue Vorstellung davon hätte, wie man das erschaffen könnte.
Wir Menschen wissen, wie wir unsere Leistung bei einer Aufgabe verbessern können. Wir bilden ein Team das an der selben Aufgabe arbeitet. Ist es einem Menschen möglich sein eigenes System komplett zu verstehen?  Vielleicht nicht, aber wahrscheinlich ist es 10 Menschen gemeinsam möglich, die sehr effizient zusammen arbeiten. Und wenn nicht 10, dann vielleicht 1000 oder 10000 oder oder oder.
Wir Menschen müssen dafür teure Neurologen am Arbeitsmarkt anwerben für die KI ist das Ganze einfacher.
Kopieren und Einfügen.


2x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 11:40
Zitat von interpreterinterpreter schrieb:Ich werfe dir vor, dass du so krampfhaft versuchst, jeder meiner Aussagen zu widersprechen, dass du dir im Endeffekt selber widersprichst. Wenn die KI nicht funktioniert braucht man ihr keine Fähigkeiten verwehren. Wenn es reicht ihr Fähigkeiten zu verwehren braucht man keinen EMP darauf werfen.
Im Gegensatz zu dir gehe ich auf das meiste ein was du sagst und versuche Lösungen oder Gegenargumente zu finden, wie die Gefahr eben nicht als 'zu groß' einzuschätzen ist. Bei dir habe ich das Gefühl, wenn du nicht weiterkommst - kein GegenArgument findest, dann erdenkst du dir ein weiteres Szenario, dass doch auch sehr unwahrscheinlich ist.

Was ist denn jetzt dein Standpunkt? Dein WorstCaseSzenario liegt bei weitem unter 1Prozent - und für wie realistisch du so einen Prozentwert empfindest, das hast du uns schon dargelegt..
Zitat von interpreterinterpreter schrieb:Oder einen schwarzen Trans-Am mit rotem Lauflicht in der der Haube, dessen Prototyp er vergisst einzubauen, dass er auf Menschen acht zu geben hat?
Oder im Gegenteiligen, dass man in Autos und LKWs eine KI einbaut, die solche Attentate wie in Berlin am Weihnachtsmarkt verhindern, weil automatisch ein Bremsvorgang eingeleitet wird, sobald die Gefahr erkannt wird auf Objekte oder Lebewesen aufzutreffen. Genau dafür ist es notwendig 'künstliche Intelligenzen' weiterzuentwickeln.

In der Medizin gibt es z.b. die Entwicklung der Phagen ( Wikipedia: Bakteriophagen ). Die Forschungen werden mit der Intention durchgeführt, um Menschen zu helfen. Auch da ist die Gefahr da, dass Forscher oder Kriminelle das für böse Zwecke einsetzen. Sollen wir jetzt diese medizinischen Forschungen einstellen oder versuchen die neuen Entwicklungen in einem Rahmen durchzuführen in dem größtmögliche Sicherheit gewährleistet ist?
Zitat von interpreterinterpreter schrieb:Du liest einen Artikel der sagt, dass es lange dauerte und viel Rechenleistung gefordert hat und schließt daraus, dass es unwahrscheinlich ist?
Die Unwahrscheinlichkeit habe ich schon anhand des Wiki-Artikels zu 'Superintelligenz' dargelegt. Dort wurde beschrieben, dass es keine seriösen fundierten Forschungen gibt in dieser Richtung.
Zitat von interpreterinterpreter schrieb:In den letzten Jahren hat sich die Computerleistung ständig vergrößert. Die Moorsche Regel spricht von einer Verdopplung alle drei Jahre.
und mein Beitrag:
Zitat von RayWondersRayWonders schrieb:Dieser Person (die nach eigenen Angaben in dem Bereich tätig ist) ist also auch der Meinung, dass mit derzeitigen technischen Möglichkeiten/Geschwindigkeiten so etwas wie eine ASI schon möglich sein müsste, wenn man denn eine genaue Vorstellung davon hätte, wie man das erschaffen könnte.
Das hatte ich aber auch schon erklärt. Allein Rechenleistung reicht für einen Computer nicht aus um ein Konzept zu erfinden oder Ideen zu haben. Und genau das wird in den von mir geteilten Wiki-Artikeln an mehreren Stellen erklärt.
Zitat von interpreterinterpreter schrieb:Wir Menschen müssen dafür teure Neurologen am Arbeitsmarkt anwerben für die KI ist das ganze einfacher.
Kopieren und Einfügen.
Du bist also der Meinung, dass es beim Grundkonzept von Neuronen ausreicht, wenn man davon mehr hat um intelligenter zu werden?
Am Menschen müsste uns eig.allen klar sein, dass das so nicht richtig ist. Wichtig ist auch die Umgebung und mit welche Informationen man konfrontiert ist, also was wir lernen.

Wikipedia: Kaspar Hauser

Das ist ein Beispiel, wie man mit Neuronen in großer Vielzahl ausgestattet sein kann, aber dennoch zurückgeblieben ist.
Wir als Menschen, und selbst die fähigsten Hirnforscher, haben noch nicht verstanden wie Neuronen schlussendlich interagieren um uns z.b. selbst im Spiegel zu erkennen. Deine Vision ein Gehirn nachzubilden ist also überhaupt nicht abzusehen.


2x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 12:32
Zitat von RayWondersRayWonders schrieb:Im Gegensatz zu dir gehe ich auf das meiste ein was du sagst und versuche Lösungen oder Gegenargumente zu finden, wie die Gefahr eben nicht als 'zu groß' einzuschätzen ist. Bei dir habe ich das Gefühl, wenn du nicht weiterkommst - kein GegenArgument findest, dann erdenkst du dir ein weiteres Szenario, dass doch auch sehr unwahrscheinlich ist.

Was ist denn jetzt dein Standpunkt? Dein WorstCaseSzenario liegt bei weitem unter 1Prozent - und für wie realistisch du so einen Prozentwert empfindest, das hast du uns schon dargelegt..
Nein tut es eben nicht. Das mag deine Einschätzung sein aber auch von mir ist es halt eine extrem konservative Schätzung gewesen. Es gibt unglaublich viele Worst-Case-Szenarien und ich sage dass schon eines dieser Worst-Case-Szenarien völlig ausreichen würde und das Risiko viel zu hoch ist.
Zitat von RayWondersRayWonders schrieb:Das hatte ich aber auch schon erklärt. Allein Rechenleistung reicht für einen Computer nicht aus um ein Konzept zu erfinden oder Ideen zu haben. Und genau das wird in den von mir geteilten Wiki-Artikeln an mehreren Stellen erklärt.
Nein, du hast geschrieben, dass wir die Rechenleistung haben und Rechenleistung alleine nicht.
In dem späteren Beitrag hast du dann geschrieben, dass wir zu wenig Rechenleistung haben und es deswegen nicht geht, ich zitiere:
Zitat von RayWondersRayWonders schrieb:Dieser Person (die nach eigenen Angaben in dem Bereich tätig ist) ist also auch der Meinung, dass mit derzeitigen technischen Möglichkeiten/Geschwindigkeiten so etwas wie eine ASI schon möglich sein müsste, wenn man denn eine genaue Vorstellung davon hätte, wie man das erschaffen könnte.
Zitat von RayWondersRayWonders schrieb:Es ist also höchst unwahrscheinlich, dass wir als Mensch etwas relativ einfaches programmieren können, das aber doch so 'intelligent' ist, das es sich selbst erkennt und verbessert - und das auch noch in absehbarer Zeit von Jahrzehnten/-hunderten.
als Schlussfolgerung daraus:
Zitat von RayWondersRayWonders schrieb:The main counterargument is that there may be a simple meta-algorithm that would allow an AI to bootstrap to the point where it could fine-tune all the details on its own, without requiring human inputs. This might be the case, but my guess is that any elegant solution would be hugely expensive computationally. For instance, biological evolution was able to fine-tune the human brain, but it did so with immense amounts of computing power over millions of years.
Du schreibst also, dass es mehr als Computerleistung braucht um dich ein paar Beiträge später auf einen Wissenschaftler zu berufen, der das exakte Gegenteil behauptet. Nämlich, dass es möglich wäre eine KI zu säähen, wenn man nur genug Computerleistung hat.
Und damit hast du auch den Grund gefunden, warum ich nicht auf jede deiner Aussagen eingehe. Du widersprichst dir an jedem Ende selber.

Haben wir die Rechenleistung und Rechenleistung allein reicht nicht aus?
Reicht Rechenleistung alleine und wir haben nicht genug?
Ist es technisch unmöglich eine KI zu bauen?
Ist es technisch möglich aber die Wissenschaftler tun es nicht, aus Sicherheitsgründen?
Ist es möglich und tun die Wissenschaftler es auch aber wir können KIs mit kriegerischen Mitteln beikommen?

Du hast all diese Dinge ausdrücklich oder implizit behauptet und all diese Dinge widersprechen einander. Daher muss ich das auch in vielen Punkten nicht machen.
Zitat von RayWondersRayWonders schrieb:Bei dir habe ich das Gefühl, wenn du nicht weiterkommst - kein GegenArgument findest, dann erdenkst du dir ein weiteres Szenario, dass doch auch sehr unwahrscheinlich ist.
Welche Szenarien habe ich denn bis jetzt erdacht? Und falls du es vergessen hast, ist es meine Aufgabe die Gefahren von KI aufzuzeigen... es gibt ne ganze Menge davon.

X3, Skynet (wenn du unbedingt Killerrobotter willst), Die Ki, die die Menschen glücklich machen soll aus dem Smalltalk. Die KI aus dem Film I-Robot und natürlich den Büchern von Isaac Asimov. "Samaritan" aus der Serie Person of InterestHAL 9000 und seine tausenden Parodien.
Soviel nur zur Hollywood-Fiktion.

Im Internet kursiert eine Geschichte in der eine KI zu einer globalen Bedrohung wird, durch die Produktion von Büroklammern:

http://www.zeit.de/campus/2015/03/kuenstliche-intelligenz-roboter-computer-menschheit-superintelligenz



Und dass ich keine Gegenargumente finden würde...  Tja das ist einfach nicht wahr.


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 13:11
Zitat von interpreterinterpreter schrieb:Du schreibst also, dass es mehr als Computerleistung braucht um dich ein paar Beiträge später auf einen Wissenschaftler zu berufen, der das exakte Gegenteil behauptet. Nämlich, dass es möglich wäre eine KI zu säähen, wenn man nur genug Computerleistung hat.
Ich habe dir jetzt mehrfach auch mit Nachweisen dargelegt, dass man anhand des Konzeptes eines einzelnen Neurons keine Interaktion nachbilden kann. Wir wissen es einfach nicht, wie das im Gesamten abläuft und funktioniert.
Zitat von interpreterinterpreter schrieb:Haben wir die Rechenleistung und Rechenleistung allein reicht nicht aus?
Reicht Rechenleistung alleine und wir haben nicht genug?
Ist es technisch unmöglich eine KI zu bauen?
Zu allem habe ich bereits meinen Standpunkt erläutert. Schaue bitte noch mal im Wiki-Artikel zu 'Superintelligenz'. Es gibt keine wissenschaftlich fundierten seriösen Forschungen, die einen Nachbau von Gehirnen ermöglichen könnten. Alles was wir haben sind Forscher die von sich behaupten mit nur genügend Zeit von vielleicht 20-50Jahren würden sie schon noch auf die Idee kommen, die sie bisher nicht haben, um das umzusetzen. Währenddessen proklamieren sie dieses Vorhaben und die Möglichkeit weiterhin, um ihren Arbeitsplatz abzusichern.
Zitat von interpreterinterpreter schrieb:Die KI vor der wir uns fürchten müssen ist eine Sammlung von Servern in irgendeinem Datenzentrum. Sie kann Emails-schreiben, Telefonanrufe führen und per Online-Banking mit Aktien handeln.
Nachdem du also behauptet hast, KI könnten verstehend lesen, kommst du jetzt mit einer nächsten These, dass diese auch fähig sind/wären Gespräche am Telefon zu führen oder Inhalte von eMails bzgl.eines Zweckes zu erfinden und diese zu verschicken?
Hast du da bitte wissenschaftliche Nachweise, welche die Möglichkeit dieses Szenarios auch nur Ansatzweise belegen?

Was genau ist denn die Intention dieser KI, die du hier erträumst?
Wie kam es zu diesem Zweck - einprogrammiert oder hatte deine KI eine plötzliche Idee, wie sie sich die Menschheit unterwerfen könnte? SCNR

Für einen Algorithmus der Schaden an ComputerSystemen verursacht und hervorruft benötigt es keiner WeiterEntwicklung von KI-Systemen. Die Gefahr sieht man aktuell in den Nachrichten von Heute.

Sollten wir jetzt jegliche Programmierer als potentielle Kriminelle betrachten und ProgrammierSprachen verbieten bzw.nur noch verwenden dürfen unter staatlicher Beobachtung?

Resultat deines Standpunktes - dass die Gefahr zu groß ist - wäre ein Verbot.
Man würde damit einigen technischen Errungenschaften wichtige SicherheitsEinrichtungen vorenthalten.
Und Ein Verbot muss man irgendwie durchsetzen können.

Inwiefern siehst du da eine Chance das z.b. per UN-Beschluss durchzusetzen?

Wenn ich da jetzt mal der Analogie von DrogenBefürwortern folge, dann ist die einzige richtige und logische Schlussfolgerung daraus, dass man etwas nicht verbieten kann, es unter eigene Kontrolle zu stellen, um die Sicherheit zu gewährleisten.
Zitat von interpreterinterpreter schrieb:Ist es technisch möglich aber die Wissenschaftler tun es nicht, aus Sicherheitsgründen?
Ist es möglich und tun die Wissenschaftler es auch aber wir können KIs mit kriegerischen Mitteln beikommen?
zu Ersterem: KIs bewerten wie sie es gelernt haben, sind nicht zu Ideen fähig und es werden SicherheitsMechanismen eingebaut
zu Zweiterem: zu jeder potentiell gefährlichen Entwicklung werden mögliche Gegenmaßnahmen entwickelt


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 13:17
 Ich hab das Gefühl, dass wir uns ein wenig im Kreis drehen...
Da du außerdem öfter in Frage gestellt hast, dass Computer Ideen haben könnten, möchte ich mir einen kleinen Exkurs erlauben um die Grundlagen zu erklären.

Wikipedia: Künstliches neuronales Netz

Vom Neuron zur Idee, zur KI.

Das, meine lieben Mitleser ist die Schematische Darstellung eines künstlichen Neuralen Netzes.

220px-Neural network.svg

Jedes Neuron hat dabei eine ganz simple Aufgabe. Es wertet aus, wie hoch das Eingangssignal von den anderen Neuronen ist und entscheidet dann, ob es feuert (aktiv ist) oder nicht. Wenn es feuert, gibt es ein Signal an die in der Kette folgenden Neuronen weiter.

Die Entscheidung, ob das Neuron feuert hängt dabei auch von den Verbindungen ab, den Synapsen. Sie können ein Signal in voller Stärke durchleiten oder es abschwächen. Als Analogie könnte man hier eine Autobahn sehen oder ein Feldweg.

Softwarebasiert werden solche simplen Muster verwendet um Gesichter und andere Muster zu erkennen. Sie stecken in Mustererkennungssystem auf der ganzen Welt.

@RayWonders hat es tatsächlich selber angesprochen, das Prinzip ist bekannt.

Man fragt sich, wie kann ein so einfaches Konzept dazu dienen, eine so komplexe Aufgabe auszuführen?
Das ist simpel, dadurch das viele spezialisierte Einzelteile zusammenarbeiten, kann aus etwas einfachem was Komplexes entstehen.

Wie kann man also einem künstlichen neuralen Netz beibringen Muster zu erkennen?
Indem man es trainiert. Man füttert das Netz mit einem Eingabewert und passt es so lange an (durch Änderung der Wichtungen) bis es den gewünschten Ausgabewert liefert.

Wenn man die Eingangsmuster richtig wählt, kann das Netz irgendwann die zugrunde liegenden Eigenschaften abstrahieren. Dann kann es ähnliche Muster erkennen, auf die es nicht explizit trainiert wurde.

Wie kann ein solches Konzept Ideen haben?

Es muss einfach nur umfangreich genug sein.

Ersetze die Sensoren, die die Eingabewerte liefern durch Sinne
Ersetze die Motoren oder Lämpchen die die Ausgabewerte liefern durch Muskeln und man hat 1 zu 1 den Aufbau und die Funktionsweise eines menschlichen Hirn. Der Mensch zeigt, dass dieses Konzept zu Ideen fähig ist, weil der Mensch Ideen hat.

Übrigens is so eine Idee auch nur die Anwendung von Erlerntem, Kombination von Bekanntem. Jemand der nie im Regen stand, dem das Konzept eines Regenschirmes nicht vertraut ist, wird keinen Schirmständer erfinden.


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 13:47
Zitat von interpreterinterpreter schrieb:Wenn man die Eingangsmuster richtig wählt, kann das Netz irgendwann die zugrunde liegenden Eigenschaften abstrahieren. Dann kann es ähnliche Muster erkennen, auf die es nicht explizit trainiert wurde.
Angenommen ich trainiere das neuronale Netz auf Katzen und letztendlich funktioniert dieses Bilder vergleichen und Bestimmen ob das zutrifft oder nicht. Wenn man das Netz dann mit HundePhotos 'füttert', kann es durchaus Ähnlichkeiten erkennen, wenn die Tiere ähnliche Farben und Größen haben. Es wird aber ohne menschlichen Einfluss keine neue Bewertung diesbzgl.erfinden können und einen neuen AusgabeWert 'Hund' generieren.
Im schlimmsten Falle wird das Gelernte verlernt und das Resultat ist, dass das neuronale Netz immer meint eine Katze vor sich zu haben, solange auf dem Bild nur ein Tier zu sehen ist, dass sich den EingabeWerten der Katzen und Hunde ähnelt.

Das ist was ich schon mal angedeutet hatte. KIs sind für einen speziellen Zweck konstruiert und bewerten anhand von EingabeParameter, ob etwas zutrifft oder nicht. Abweichend davon kann eine KI nichts neues erfinden.

ich bringe mal meinerseits ein Beispiel bzgl.des Lernens:

In einem Raum steht ein Hocker und ein Tisch. Auf dem Tisch stehen Gläser und ein Teller mit Keksen.
Ein KI-Roboter (der niedriger ist als der Tisch) steht im Raum und beobachtet ein Kind, wie es auf den Hocker steigt, um an die Kekse zu gelangen.
Wenn man jetzt dem Roboter die Aufgabe erteilt, sich ein Glas vom Tisch zu nehmen - kann die KI 'adaptieren' also analog des Kindes handeln und nutzt seinerseits den Hocker?
So wie ich das sehe, muss das explizit einprogrammiert sein. Von selbst wird eine KI niemals auf die Idee kommen. Schon deswegen nicht, weil es die Handlung des Kindes in Verbindung mit dem Hocker nicht versteht.
Zitat von interpreterinterpreter schrieb:Wie kann ein solches Konzept Ideen haben?

Es muss einfach nur umfangreich genug sein.
Anhand meines Beispieles - wie genau stellst du dir das vor - dass die KI das gesehene versteht und analog handelt, Ohne dies explizit einprogrammiert zu bekommen/haben?

Deine Aussage und Hyptothese "es muss nur umfangreich genug sein" ist mMn mehr als vage..


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 14:09
Zitat von RayWondersRayWonders schrieb:Angenommen ich trainiere das neuronale Netz auf Katzen und letztendlich funktioniert dieses Bilder vergleichen und Bestimmen ob das zutrifft oder nicht. Wenn man das Netz dann mit HundePhotos 'füttert', kann es durchaus Ähnlichkeiten erkennen, wenn die Tiere ähnliche Farben und Größen haben. Es wird aber ohne menschlichen Einfluss keine neue Bewertung diesbzgl.erfinden können und einen neuen AusgabeWert 'Hund' generieren.
Soetwas lernen sowohl Menschen als auch Neurale Netze durch Input von Außen. Ein menschliches Kind würde auf den Hund zeigen und Katze sagen, bis es von Außen den Input bekommt, dass es sich eben nicht um eine Katze handelt, dann kann es den neuen Lernprozess initieren.

Bei einer KI könnte das entweder ebenso laufen oder es findet ähnlich wie bei einem Menschen ( der wie gesagt den selben Aufbau im Kopf hat) dass der Mensch irgendwann anfängt darüber nachzudenken und dem Muster Katze per Entscheidung eine neue Bedeutung zuordnet.
Zitat von RayWondersRayWonders schrieb:So wie ich das sehe, muss das explizit einprogrammiert sein. Von selbst wird eine KI niemals auf die Idee kommen. Schon deswegen nicht, weil es die Handlung des Kindes in Verbindung mit dem Hocker nicht versteht.
Zitat von RayWondersRayWonders schrieb:zu Ersterem: KIs bewerten wie sie es gelernt haben, sind nicht zu Ideen fähig und es werden SicherheitsMechanismen eingebaut
zu Zweiterem: zu jeder potentiell gefährlichen Entwicklung werden mögliche Gegenmaßnahmen entwickelt
Zitat von RayWondersRayWonders schrieb:Das hatte ich aber auch schon erklärt. Allein Rechenleistung reicht für einen Computer nicht aus um ein Konzept zu erfinden oder Ideen zu haben. Und genau das wird in den von mir geteilten Wiki-Artikeln an mehreren Stellen erklärt.
Du wiederholst hier immer den gleichen Standpunkt. Der ist allerdings aus meiner Sicht reine menschliche Hybris. Ähnlich einem Kind, dass sich für unglaublich tiefsinnig hält, weil es, seiner Meinung nach, als erstes meint die Frage zu stellen ob alle Menschen Farben gleich sehen. In Bezug darauf, sich allen Menschen überlegen zu halten und zu vermuten, dass in Anderen nichts Komplexes abläuft, legen die meisten geistig Gesunden Menschen diese Illusion irgendwann ab.
Was unsere Spezies angeht ist das offensichtlich eine viel größere Herausforderung.

Das die KI uns längst in diversen Punkten überlegen ist, scheint uns da nicht zu stören. Es ist ewig her, seit zuletzt ein menschlicher Weltmeister eine KI in Schach besiegt hat. Im Go (einer der letzten Bastionen) ist sie inzwischen auch weiter.

Programmiert und für ihre Nische angepasst kann jede KI das aber wir bleiben immer der Meinung, dass wir doch irgendwie, irgendwo was Besonderes sein MÜSSEN (bitte, bitte, bitte).  Wir sind es nicht.

Ein Neuronales Netz hat den gleichen Prinzipiellen Aufbau wie ein Hirn. Es mag Gleichnisse von Kindern und Robotern geben aber es gibt keinen rationalen Grund zu behaupten, dass KI zu Ideen und Kreativität pauschal unfähig wäre, außer vielleicht die eigene Überzeugung und menschliche Hybris.
Zitat von RayWondersRayWonders schrieb:Das hatte ich aber auch schon erklärt. Allein Rechenleistung reicht für einen Computer nicht aus um ein Konzept zu erfinden oder Ideen zu haben. Und genau das wird in den von mir geteilten Wiki-Artikeln an mehreren Stellen erklärt.
Das ist übrigens Grundfalsch.
Wikipedia: Evolutionärer Algorithmus
Evolutionäre oder Genetische Algorithmen können wissenschaftliche Ideen, Konzepte und Formeln ableiten aus einfachen Datenmengen. Sie probieren dabei mit einer Formel solange die Terme zu modifizieren bis die Formel den Daten entspricht. Ein genetischer Algorithmus hat den Energie-Erhaltungs-Satz gefunden... eine wissenschaftliche Theorie also und absolut eine Erfüllung des Begriffes Konzept.
http://physicsworld.com/cws/article/news/2009/apr/02/algorithm-discovers-physical-laws


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 15:20
Zitat von interpreterinterpreter schrieb:Evolutionäre oder Genetische Algorithmen können wissenschaftliche Ideen, Konzepte und Formeln ableiten aus einfachen Datenmengen.
Das ist richtig, unterscheidet sich aber zu eigenen Ideen. Wenn man jmd.das EndErgebnis gibt und die Variablen, dann kann man durch probieren und genügend Zeit zu einer RechenOperation kommen, wie man von dem einen zu dem anderen kommt.
Das hat aber nichts mit eigenen Ideen zu tun, die du neuronalen Netzen zusprichst. Hier ist das zugrunde liegende Konzept vorprogrammiert, nämlich mathematische Operationen und diese Algorithmen wenden diese auf die Datenmenge an.
Ebenso müsste einer KI vorprogrammiert sein, dass man auf Objekte drauf klettern kann, um seinen Standpunkt zu erhöhen wenn ein Versuch fehlschlägt etwas mit den Armen zu erreichen das zu hoch steht/liegt.

Du hast jetzt auch sehr wortgewandt um meine Frage drumherum geredet ohne sie zu beantworten. Ich muss daher jetzt einfach annehmen, du kannst es nicht erklären wie eine KI ein Kind bei der Handlung mit dem Hocker beobachten kann und dieses verstehen und auf sich selbst anwenden. Zuerst einmal müsste dieser kleine Roboter selbst erkennen, dass er zu niedrig ist. Diese Schlussfolgerung geschieht aber nicht.
Alles was du anbringst ist, dass KI einfach schlauer sind. Bezogen auf einen bestimmten Bereich für den sie erschaffen wurden ist das richtig - z.b. SchachComputer. Du kannst auch einer KI beibringen den Hocker als Hilfsmittel zu erkennen, aber das ist dann ebend wie man als Programmierer so sagt 'hard kodiert' ( Wikipedia: Hard coding - sorry scheint keinen deutschen Artikel dazu zu geben.).

Wir drehen uns tatsächlich im Kreis und ich habe auch das Gefühl wir kommen da nicht raus.
Du glaubst den Träumereien und bringst als Argumente/Beweise spezielle Anwendungsgebiete, bei denen KI diese nicht von selbst verlassen können.
Ich (der viele Jahre als Programmierer tätig war) sehe da keine Möglichkeit einer wirklich selbst lernenden KI ohne menschliches Zutun, so dass sie vordefinierte Aufgabenbereiche verlässt und durch eigene erdachte Aktionen zu einer Gefahr wird.
Aber ich muss zugeben, ich bin nicht intelligent genug um all das zu verstehen, was ich in den letzten Stunden in den gefunden Links beschrieben sah. Ich halte mich da an die 2% dieser Konferenz und vertraue deren pessimistischer Grundhaltung, dass es unmöglich ist und sein wird.
Da spielt auch ein großes Maß an Hoffnung - und auch Vertrauen in die Ingenieure mit hinein, wenn ich die Position vertrete, dass die Gefahren nicht zu groß sind, wenn man KIs weiterentwickelt.


2x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 15:43
Ich hab mir deinen Artikel mal genauer angeschaut:

Wikipedia: Superintelligence
Most surveyed AI researchers expect machines to eventually be able to rival humans in intelligence, though there is little consensus on when this will likely happen.
Learning computers that rapidly become superintelligent may take unforeseen actions or robots might out-compete humanity (one potential technological singularity scenario).

In theory, since a superintelligent AI would be able to bring about almost any possible outcome and to thwart any attempt to prevent the implementation of its goals, many uncontrolled, unintended consequences could arise. It could kill off all other agents, persuade them to change their behavior, or block their attempts at interference.[24]

Thus, the simplest example of a superintelligence may be an emulated human mind that's run on much faster hardware than the brain. A human-like reasoner that could think millions of times faster than current humans would have a dominant advantage in most reasoning tasks, particularly ones that require haste or long strings of actions.
Der ist inhaltlich weit davon entfernt auf deiner Seite zu sein, abgesehen vielleicht von den Abschnitten die du zitiert hast.
Bist du da auch der Meinung, dass es reicht wenn 2% des Artikels mit dir übereinstimmen?
Zitat von RayWondersRayWonders schrieb:Das ist richtig, unterscheidet sich aber zu eigenen Ideen. Wenn man jmd.das EndErgebnis gibt und die Variablen, dann kann man durch probieren und genügend Zeit zu einer RechenOperation kommen, wie man von dem einen zu dem anderen kommt.
Das hat aber nichts mit eigenen Ideen zu tun, die du neuronalen Netzen zusprichst. Hier ist das zugrunde liegende Konzept vorprogrammiert, nämlich mathematische Operationen und diese Algorithmen wenden diese auf die Datenmenge an.
Ebenso müsste einer KI vorprogrammiert sein, dass man auf Objekte drauf klettern kann, um seinen Standpunkt zu erhöhen wenn ein Versuch fehlschlägt etwas mit den Armen zu erreichen das zu hoch steht/liegt.
Was ist die Idee und was macht da den Unterschied? Ein Computer der die Relativitätstheorie aus Datenmengen ableiten kann, versteht das Ding objektiv, zumindest in Hinsicht der relevanten Faktoren.

Du reimst dir ein selbst konstruiertes Verständniss von Ideen und Konzepten zusammen. Etwa so wie du meinst, Konzepte und Ideen zu verstehen. Aber in deinem Hirn beruht das auf dem technisch reproduzierbaren Netz hunderter kleiner Neuronen.

Ein neuronales Netz kann prinzipiell jegliche Funktion eines menschlichen Hirnes übernehmen.

Der wichtigere Punkt bei dieser Sache ist, dass es im Grunde gar nicht notwendig ist.

Die KI kann die wissenschaftliche Formel ableiten. Als Konsequenz daraus kann sie sie anwenden. Ich stelle mir eine Gruppe Leute vor, die protestierend am Boden steht und schreit, dass das, was sie sehen eigentlich garnicht geht, während ein, durch eine KI entwickeltes Raumschiff das Sonnensystem verlässt.

"Aber sie versteht es doch garnicht... das ist keine echte Intelligenz...  wirklich nicht...  warum hört denn keiner auf uns"


1x zitiert1x verlinktmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 15:56
Zitat von interpreterinterpreter schrieb:Der ist inhaltlich weit davon entfernt auf deiner Seite zu sein, abgesehen vielleicht von den Abschnitten die du zitiert hast.
Bist du da auch der Meinung, dass es reicht wenn 2% des Artikels mit dir übereinstimmen.
Es ist ganz einfach eine Vision, von der schon am Anfang des deutschen Wiki-Artikels erklärt wird, dass es keine fundierten seriösen wissenschaftlichen Forschungen gibt, die in diese Richtung gehen. Wie oft muss ich das jetzt eigentlich noch wiederholen? ;)
Zitat von interpreterinterpreter schrieb:Was ist die Idee und was macht da den Unterschied? Ein Computer der die Relativitätstheorie aus Datenmengen ableiten kann, versteht das Ding objektiv, zumindest in Hinsicht der relevanten Faktoren.
Ich sehe das anders. Weiß aber nicht wie ich das noch anders erklären soll.
Vielleicht so - eine wirkliche Idee wäre es nicht abzuleiten, von dem was der kleine Roboter bei dem kleinen Kind sieht, sondern sich bewusst zu sein was für Fähigkeiten es hat und den Hocker als Hilfsmittel erkennt.
Ich vermute aber, dass sogar derzeitige Roboter, denen man Treppensteigen implementiert/einprogrammiert hat, diesen Hocker nicht als Hilfsmittel erkennen, wenn es nicht vordefiniert ist. Genau das macht den Unterschied mMn.
Zitat von interpreterinterpreter schrieb:Ein neuronales Netz kann prinzipiell jegliche Funktion eines menschlichen Hirnes übernehmen.
Das ist eine Träumerei und nicht erreichbar, weil wir nicht wissen wie Neuronen im Hirn interagieren.
Wie oft muss ich das jetzt noch wiederholen? ;)


1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 16:12
Zitat von RayWondersRayWonders schrieb:Das ist eine Träumerei und nicht erreichbar, weil wir nicht wissen wie Neuronen im Hirn interagieren.
Wie oft muss ich das jetzt noch wiederholen? ;)
Du kannst das so oft wiederholen wie du willst ;)
Das macht es weder wahrer noch erreichst du durch die vielen Wiederholungen, dass plötzlich die Argumente oder gar die Fakten auf deiner Seite in dieser Sache stünden.
Zitat von RayWondersRayWonders schrieb:Es ist ganz einfach eine Vision, von der schon am Anfang des deutschen Wiki-Artikels erklärt wird, dass es keine fundierten seriösen wissenschaftlichen Forschungen gibt, die in diese Richtung gehen. Wie oft muss ich das jetzt eigentlich noch wiederholen? ;)
Dafür gilt genau das gleiche. Auch das kannst du so oft wiederholen wie du willst und ja mir ist inzwischen auch klar, dass du das unabhängig davon wie die Gegenargumente aussehen immer wieder anbringst.
Aber du scheinst leider zu übersehen wie diese Aussage formuliert ist.

Fundierte, seriöse, wissenschaftliche Forschung.

KI-Entwicklung findet aber schon jetzt, zu 99% nicht in der Wissenschaft und an den Universitäten statt sondern bei Google, Facebook und Konsorten als Produktentwicklung.
Bei den Geheimdiensten für Überwachungszwecke.
Im Militär und bei Fahrzeugherstellern.

Und da genau hast du wieder das Problem von vorher. NIEMALS würde ein Entwickler einer KI diese Fähigkeiten geben. Was ist wenn das Produkt nicht so genau definiert war und sich ein Fehler ergibt (in der Industrie)?
Was ist, wenn sich ein Geheimdienst-Ingenieur einfach nicht so viele moralischen Skrupel gönnt?
Was ist, wenn die Beteiligten oder ihre inkompetenten Vorgesetzten beim Militär dazu entscheiden die Risiken zu ignorieren?

Aber wiederhole ruhig nochmal, dass du es nicht glaubst, auch wenn sich dein Glauben da mit dem Glauben von 98% der Fachleute beißt und du nichts anderes hast.
Wiederhol außerdem gerne, dass es (laut Wiki) keine fundierte seriöse Forschung zu diesem Thema gibt (Das ist übrigens eine Momentanaufnahme).

Fällt dir übrigens auf, dass du versuchst aufzuzeigen, dass aus der Forschung keine Gefahr droht, indem du aufzeigst, dass es keine Forschung in die Richtung gibt?

Heißt das, dass du die Gefahren anerkennst und die Meinung teilst, dass es auch keine Forschung geben sollte?



1x zitiertmelden

CoA 2017 AF 4 - SilentCry vs. Interpreter

13.05.2017 um 16:32
Zitat von interpreterinterpreter schrieb:Heißt das, dass du die Gefahren anerkennst und die Meinung teilst, dass es auch keine Forschung geben sollte?
Ich habe mehrfach geschrieben von den Gefahren dieser 'Bewertungs-KIs'.
Schlussfolgerung ist, dass Forschungen notwendig sind, um diese Systeme sicherer zu machen - mehr als 1x von mir so erwähnt.
Zitat von interpreterinterpreter schrieb:dass plötzlich die Argumente oder gar die Fakten auf deiner Seite in dieser Sache stünden.
was für Fakten hast du denn auf deiner Seite?
Theorien und Träumereien sind keine Fakten, es ist wie dein X3 Szenario eine Utopie/Dystopie/Fiktion.
Wenn es wirklich eine fundierte Theorie geben würde, dann würden die Wissenschaftler auf dieser Konferenz einerseits alle für eine Machbarkeit abstimmen und das auch noch für den kürzesten Zeitraum, der angedacht und als Wahlmöglichkeit vorgeschlagen war.
Zitat von interpreterinterpreter schrieb:zu 99% nicht in der Wissenschaft und an den Universitäten statt sondern bei Google, Facebook und Konsorten als Produktentwicklung.
welche Produkte die da in Entwicklung sind stellen deiner Meinung nach ein großes SicherheitsRisiko dar?
Zitat von interpreterinterpreter schrieb:Bei den Geheimdiensten für Überwachungszwecke.
für genaue Muster/Bilderkennung ist eine Weiterentwicklung nützlich oder sollten Kameras z.b. in UBahn-Haltestellen wieder abgeschafft werden?
Zitat von interpreterinterpreter schrieb:Was ist wenn das Produkt nicht so genau definiert war und sich ein Fehler ergibt (in der Industrie)?
Was ist, wenn sich ein Geheimdienst-Ingenieur einfach nicht so viele moralischen Skrupel gönnt?
Was ist, wenn die Beteiligten oder ihre inkompetenten Vorgesetzten beim Militär dazu entscheiden die Risiken zu ignorieren?
Die Antworten auf diese Fragen kennst du doch selbst - es führt zu Unfällen, Schäden oder Katastrophen
Genau das trifft auch zu, wenn Autofahrer zu schnell fahren und sich und ihre Fähigkeiten überschätzen.
Oder schlimmer noch von denjenigen, die bewusst ein Fahrzeug verwenden, um Mitmenschen zu überfahren.

Aber auf meine Frage, ob Autos jetzt nachträglich gesehen als Erfindung tragbar sind, bist du mir eine Antwort schuldig geblieben.
Dieses Hilfsmittel wird von Abertausenden Menschen tagtäglich verwendet, so wie es vom Nutzen her gedacht ist.
Hättest du damals, bevor die ersten motorisierten Vehikel entwickelt wurden, dafür gestimmt das zu unterlassen, weil Unfälle und vorsätzliche Attacken damit möglich sind?


Anzeige

1x zitiertmelden