Kategorien
Akzentfarbe: Hellblau Autor: Ralf Otte Uncategorized Verantwortungsblog

„KI wird zu massiver Überwachung führen“

„KI wird zu massiver Überwachung führen“

Steht die so genannte „Singularität“ kurz bevor? Wird die KI also die menschliche Intelligenz überflügeln – mit segensreichen oder apokalyptischen Folgen für die Menschheit? Oder kommen – ganz im Gegenteil – die Grenzen der KI in Sichtweite? Und welcher KI überhaupt? Im zweiten Teil der kurzen Reihe „Überschätzte oder unterschätzte KI?“ haben wir mit dem KI-Forscher Rolf Otte über den KI-Hype, die Grenzen der KI sowie darüber gesprochen, was auf die Software-KI folgen könnte.

Interview mit Ralf Otte | 28.03.2025

Schematische Illustration; Blau- und Grautöne
Bild mit Adobe Firefly erstellt. Prompt: Deep Learning Code as illustration; style: cubism; colors: blue and grey tones.

Ralf Otte: In den letzten Jahren hat die KI eine exponentielle Entwicklung genommen. In immer kürzeren Abständen gab es immer mehr Fortschritt. Das hat zu großen Erwartungen und zum KI-Hype geführt. Ähnliches haben wir schon in den KI-Anfangsjahren erlebt. In den 1960er Jahren wurde vieles versprochen: dass man das Denken nachbilden kann, dass man Expertensysteme damit bauen kann. Dazu kam es seinerzeit nicht. Aber die Technik hat sich stetig weiterentwickelt. Denkprozesse wurden tatsächlich mathematisiert und überall sieht man Expertensysteme. 2022 sind wir nun in einen neuen Hype geraten, und das hat mit den Sprachmodellen zu tun.
Seit ChatGPT ist KI in der Gesellschaft angekommen: Es gibt diese KI und sie kann ganz unglaubliche Dinge. Aber gewisse Dinge kann sie nicht. Und das muss man erklären. Denn immer mehr Politiker und Vorstände glauben, mit KI können sie vieles lösen – ohne dass es so ist. Zur Zeit eines Lokführerstreiks äußerte ein Ministerpräsident beispielsweise: Wenn die Lokführer streiken, können wir doch KI die Züge fahren lassen. Es gab Autokonzerne, die versprachen, bis 2030 fahren unsere Autos vollautonom. Aber vollautonome Autos, die weltweit fahren können, werden niemals kommen. Wir werden auch keine vollautonomen Haushaltsroboter kaufen können. Das sind Dinge, die wir Ingenieure schlicht nicht bauen können.
Es gibt Grenzen der KI. Wenn man das verstanden hat, dann verliert man auch wieder die Angst vor der KI, die angeblich alles kann. Ja, die Sprachmodelle sind gut. Aber sie machen zurzeit bis zu 20 Prozent Fehler in ihren Aussagen und diese Fehlerquote wird man noch auf 10 oder 5 Prozent senken können.

RO: Die Sprachmodelle werden nie die Sprachqualitäten eines Menschen erreichen. Das ist eine prinzipielle Sache. Wenn besser kommuniziert würde, wie wir KI bauen und wie das menschliche Gehirn funktioniert, dann wäre klar, warum die KI nie an das Gehirn heranreichen wird: Im menschlichen Gehirn gibt es neuronale Netze. Wir haben ungefähr 80 Milliarden Neuronen in unserem Gehirn. Ein Neuron kann mit tausenden anderen Neuronen verbunden sein. So kommen wir auf Billionen von Synapsen, also Verbindungen zwischen den Neuronen. Und wenn man lernt, etwas begreift, dann verändern sich die synaptischen Werte. Lernen verändert also das neuronale Netz im Gehirn physisch.
Man spricht im Zusammenhang mit der aktuellen KI zwar auch von neuronalen Netzen im Computer. Aber das ist nur eine Metapher, denn es gibt keine neuronalen Mechanismen im Computer, das sind nur mathematische Gleichungen. Würde man einen Computer aufbohren, dann würde man feststellen, die KI auf einem Computer ist nur Mathematik. Nirgends findet man auch nur ein einziges Neuron.

RO: Im Gehirn laufen keine mathematischen Verfahren. Deswegen bereitet es solche Mühe, einem Menschen ein mathematisches Verfahren beizubringen. Sie brauchen zehn bis zwölf Jahre in der Schule, um die Gehirnprozesse, also physikalische und chemische Prozesse, so zu modulieren, dass sie mathematischen Operationen entsprechen. Das neuronale Netz im Gehirn bringt das nicht mit. Sie können es aber so modulieren, dass Sie nach Ende des ersten Schuljahres Zahlen addieren können. Das braucht sehr, sehr lange und das klingt nach einem Nachteil. Aber der Vorteil ist, dass das menschliche Gehirn mathematische Operationen zwar abbilden kann, aber nicht muss.
Die KI im Computer ist jedoch reine Mathematik. Wer KI programmiert, programmiert mathematische Formeln. Das hat die letztendliche Konsequenz, dass die Grenzen der Mathematik die Grenzen der KI sind. Aber die Grenzen der Mathematik sind nicht die Grenzen eines Menschen. Die Intelligenz des Menschen ist physikalisch, chemisch wie auch sozial fundiert.

RO: Ich habe dazu im Dezember letzten Jahres ein kleines Büchlein geschrieben, mit dem Titel Künstliche Intelligenz – Illusion und Wirklichkeit. Darin erläutere ich „Warum autonomes Fahren weltweit niemals Wirklichkeit wird“, so der Untertitel des Buches.
Ein Grund ist das Problem des Extrapolationsraums. Eine KI können Sie heute gut trainieren und in diesem Datenraum können Sie sie sicher anwenden. Aber wenn Sie KI-Systeme wie ChatGPT über Dinge befragen, die es nicht gelernt hat, fängt die KI oft an zu halluzinieren. In diesem Extrapolationsraum können Sie die KI nicht sicher anwenden. Und zwar prinzipiell nicht. Das Problem lässt sich auch mit einem Supercomputer nicht überwinden, weil es ein mathematisches Problem ist und kein technisches.
Ein anderes Problem ist energetisch: Ein Mensch hat 20 bis 30 Watt Leistungsaufnahme im Gehirn. NVIDIA-Chips in einem Level-3-Auto haben 4000 bis 5000 Watt Leistungsaufnahme. Die KI verbraucht über das Hundertfache an Energie. Und dann kommen noch die Aufwände der Infrastruktur hinzu. Das ist Wahnsinn. Und damit fährt das Auto nur Level 3, bei Mercedes oder BMW bedeutet das bis 60 (bald 90) km/h auf der Autobahn und bei guten Witterungsbedingungen darf man mal den Blick auch von der Fahrbahn nehmen. Allein aus energetischer Sicht lässt sich vollautonomes Fahren nicht darstellen. Wir bräuchten 100 neue Atomkraftwerke allein in Europa, wenn wir eine gewisse Anzahl von Autos mit Level 5 auf die Straße bringen würden. Teilautonomes Fahren, Level 3, ist heute schon möglich. BMW fährt Level 3, Tesla, Mercedes und Honda auch. Und Level 4 bedeutet Höchstautomatisierung. Der Mensch kann dann in 80 bis 90 Prozent der Fälle die KI fahren lassen.
Der Punkt ist: Das ist in allen Bereichen so. Die KI können Sie in 80 bis 90, teilweise 99 Prozent aller Fälle arbeiten lassen – ob in der Fabrik, im Auto, im Kraftwerk oder im Flugzeug. Aber was ist mit dem Rest? Den Rest wird die KI nicht lösen. Insofern wird eine KI niemals vollautomatisch ein Flugzeug steuern, weil die ein bis zwanzig Prozent der Problemfälle natürlich wichtig sind. Niemand würde ein Flugzeug von einer KI fliegen lassen, ohne einen Piloten an Bord zu haben. Den Autopiloten kennen wir schon lange, aber für Starts und Landungen sowie für schwierige Flugbedingungen braucht es Menschen. Und das ist ein mathematisches Erfordernis, kein technisches. Alles andere können wir gerne automatisieren, aber wir sollten nicht Milliarden rauswerfen für Automatisierungsprojekte, von denen man eigentlich schon weiß, dass sie nicht möglich sind.

RO: Wir reden von den Grenzen der mathematischen KI. Aber die KI wird weiterentwickelt, beispielsweise in eine physikalische KI, die auf neuromorphen und Quantencomputern läuft. Daran arbeite ich selbst. Ich entwickle neuronale Netze auf Quantencomputern. Auch an einer chemischen KI wird gearbeitet. Man kann Proteine nutzen, indem man deren Faltungsprozesse trainiert und zur Lösung von Aufgaben einsetzt. Es gibt auch biologische KI. Man kann Pilze zum Rechnen nutzen und in der Schweiz arbeitet beispielsweise ein Start-up mit menschlichen Nervenzellen, die an Elektroden angeschlossen werden und die man dazu bringt, Pingpong zu spielen.
In diese Richtungen geht es. Aus der mathematischen KI wird eine physikalische, chemische und biologische KI. Und diese Formen von Künstlicher Intelligenz können viel, viel mehr – beängstigend viel mehr. Das müssen wir regulieren. Dieses Forschungsfeld nicht zu regulieren ist so, als würden Sie in der Genforschung alles erlauben, jede genetische Manipulation am Menschen. Da hat aber der Gesetzgeber eine rote Linie gezogen. Und das brauchen wir auch für die KI. Ich warne nicht vor der physikalischen oder der chemischen KI, aber ich warne vor der biologischen KI, also davor, dass Pilze, Ratten oder menschliche Nervenzellen in zahlreichen Anwendungen benutzt werden.

RO: In meinem Buch Maschinenbewusstsein geht es um die Frage, wie kann Bewusstsein auf Maschinen entstehen? Und mit Bewusstsein meine ich Wahrnehmung. Die heutige KI kann nicht wahrnehmen und ich forsche an einer physikalischen KI, die ein rudimentäres Bewusstsein auf ihren maschinellen Bauelementen entwickeln kann. Man kann mathematisch zeigen, dass gewisse Bausteine, z.B. Quantencomputer, eventuell in der Lage sind, rudimentäres technisches Bewusstsein auszuprägen. Aber das ist immer noch ganz weit weg von den Wahrnehmungsfähigkeiten von Ratten oder Fliegen.

RO: Ich gebe Ihnen ein Beispiel: Sie gehen auf eine Party und Sie nehmen wahr, was dort passiert. Sie qualifizieren die Wahrnehmung in dem Sinne, dass Sie sagen, es gefällt mir hier nicht. Diese qualifizierten Wahrnehmungen nennt man bei Menschen „Gefühle“. Es gefällt Ihnen nicht und Sie gehen. Das heißt, es gibt Systeme, Menschen, Ratten und Hunde zum Beispiel, die haben nicht nur Wahrnehmungen, sondern können sie qualifizieren, sie als angenehm oder unangenehm bewerten. Die Systeme, die das können, sind alle biologische Systeme. Denn diese lebenden Systeme müssen ihre Wahrnehmung qualifizieren. Ein Kind greift einmal an die heiße Herdplatte und hat diese Wahrnehmung als äußerst unangenehm qualifiziert. Es wird sich davor hüten, diese Wahrnehmung erneut zu machen. Das heißt, die Qualifikation der Wahrnehmung sorgt dafür, dass biologische Systeme in einer komplizierten und gefahrvollen Umwelt überleben können.
Technische Systeme hingegen müssen nicht überleben, denn sie leben schließlich gar nicht – der Quantencomputer nicht, der neuromorphe Computer und der Laptop auch nicht. Das sind mineralische Systeme. Diese Systeme können wahrscheinlich zwar Bewusstsein entwickeln, insofern sie wahrnehmen können, aber sie können die Wahrnehmung nicht qualifizieren. Sie können also keine Gefühle entwickeln und auch keine Willensprozesse. Deswegen darf ich damit forschen und experimentieren.

RO: Eine KI, die intelligenter als der Mensch ist und die Menschheit auslöschen will, ist reine Science-Fiction. Eine Maschine auf mineralischer Basis wird nie etwas fühlen und damit auch nie etwas wollen. Denn „Wollen“ bedeutet, ich will meine Umgebung so verändern, dass ich angenehme Gefühle habe.
Auch hier kommen wir allerdings wieder zu den Problemen der biologischen KI. Wenn Sie menschliche Zellen oder Zellen aus dem Rattengehirn nehmen, dann bauen Sie ein biologisches System, das hat mit Sicherheit Wahrnehmungen und kann diese qualifizieren. Es kann zum Beispiel Angst haben. Ich stelle mir vor, dass die menschlichen Nervenzellen in der Petrischale Angstzustände bekommen, wenn wir sie mit elektrischen Schlägen traktieren. Denn darin besteht unter anderem das Training: Wenn sie falsche Antworten geben, dann versetzt man ihnen elektrische Schläge, bis sie richtige Antworten geben. Wir wissen nicht, ob sie Angst empfinden, aber das liegt nahe, denn es ist lebende Materie. Ein biologisches System solchen Zuständen auszusetzen, ist eventuell Quälerei. Das ist ein No-Go. Das passiert zwar auch in der Schweinezucht, aber deswegen gibt es den Tierschutz.
Es darf keine biologische KI geben, die mit elektrischen Schlägen zum Lernen gezwungen wird. Ich kann mir aber vorstellen, dass das in zehn Jahren Standard sein wird – ob mit Pilzen oder mit menschlichen Nervenzellen. Eine solche KI wäre erheblich intelligenter als alle physikalischen Systeme, weil sie Bewusstseinsprozesse und sogar Gefühle hätte. Die Lernprozesse dieser KI würden tausendmal schneller und energieeffizienter ablaufen. Wir würden aber nicht wissen, was diese biologische KI fühlt.

RO: Das ist nahezu selbsterklärend: Letztlich geht es in der Wirtschaft um Geld. Ich berate viele Unternehmen und überall, wo ich hinkomme, werden Copilot, ChatGPT oder andere Systeme eingesetzt. Das heißt, Big Tech schafft es, mit KI in die Unternehmen zu diffundieren. Sie werden sich unersetzbar machen, so wie vor 50, 60 Jahren Computer eingeführt und unersetzbar wurden. Es entstand ein Riesenmarkt. Und die KI müssen Sie mit dem Computer gleichsetzen. Jedes Unternehmen, jedes Büro soll KI-Verfahren einsetzen – das ist das Ziel eines KI-Herstellers. Und das ist auch legitim.
Das Problem ist eben, dass den Entscheidern dieser Welt vorgegaukelt wird, mit KI könnten sie nahezu alle Probleme lösen. Ich habe mit Ministern auf Landesebene zu tun und da stellen sich Minister vor, dass man die ganze Verwaltung durch KI automatisieren kann. Warum? Weil vorher Big Tech-Leute da waren und wunderbare Use Cases gezeigt haben, was mit KI alles möglich sei. Vom E-Mail-Schreiben bis zur Wohngeldvergabe würde sich alles automatisieren lassen. Und das glauben die. Die Konsequenz ist, dass KI überall reingedrückt wird, auch in Bereiche, wo wir als Ingenieure sagen, das kann nicht gut gehen.

RO: Man versucht beispielsweise, die KI in die Rechtsprozesse, in den Gerichtssaal zu bringen. Dafür sind diese Prozesse aber zu komplex, das habe ich im erwähnten Buch KI – Illusion und Wirklichkeit ausführlich gezeigt. Es lässt sich mathematisch beweisen, dass die Rechtsprozesse eine solche Komplexitätsstufe erreichen, dass die KI dort nicht einsetzbar ist. Ich habe dieses Jahr vielen Juristen die KI und deren Risiken erklärt und ihnen das mitgeteilt. Aber auf Entscheider-Ebene ist das nicht vorgedrungen. Deswegen gibt es immer noch die Vorstellung, dass Gerichtsentscheide automatisierbar seien.
Die Grenzen der KI sind den Fachleuten bekannt. Aber Big Tech hat ein Interesse am KI-Hype, weil sie Produkte und Lizenzen verkaufen wollen. Der Schaden, der dadurch entstehen wird, ist enorm. Denn in zehn Jahren wird vieles wieder rückabgewickelt werden müssen. Die vollautomatisierten Büros und Verwaltungen beispielsweise: Ich prognostiziere, sie werden nicht richtig arbeiten.

RO: Das Europäische Parlament diskutiert seit 2017, ob den smartesten Systemen Persönlichkeitsrechte eingeräumt werden sollen. Wenn autonom fahrenden Fahrzeugen oder mobilen Robotern, das sind ja die smartesten Systeme, Persönlichkeitsrechte eingeräumt werden, würde das Big Tech freuen, denn dann können sie ihre Haftung reduzieren. Denn, wenn die KI einen Unfall verursacht, vielleicht mit Todesfolge, dann haftet nicht der Hersteller, sondern die KI-Persönlichkeit. Völliger Schwachsinn, aber die Politiker diskutieren das. Und wir Fachleute müssen warnen und sagen, nein, eine KI darf niemals Persönlichkeitsrechte bekommen, denn das sind mathematische Verfahren. Wieso sollte die Mathematik haften? Der Hersteller soll haften, der das Fahrzeug oder den Roboter in den Verkehr gebracht hat.
So etwas passiert bereits. Anfang letzten Jahres gab es den Fall, dass ein Chatbot von Air Canada einem Kunden falsche Auskunft über einen Flugtarif erteilt hat. Da Air Canada ihm diesen nicht gewähren wollte, hat er dagegen geklagt. Air Canada hat versucht zu argumentieren, der Chatbot sei mit einem menschlichen Mitarbeiter zu vergleichen und das Unternehmen sei an die Auskunft nicht gebunden. Das eingeschaltete Schiedsgericht hat das nicht überzeugt und dem Kunden recht gegeben. Der europäische AI Act sieht ebenfalls eine Herstellerhaftung vor.

RO: Der AI Act hat den Begriff der Betroffenenrechte eingeführt. Das schützt Betroffene wie Sie und mich vor den Auswüchsen der KI. Und das ist gut so. Ich möchte als Betroffener nicht, dass Gesichts- und Emotionserkennung um sich greifen. Davor schützt uns der AI Act. Das begrüße ich sehr.
Das ist aber nur die eine Seite. Und die andere ist: Der AI Act greift zu massiv in die technologische Entwicklung in den Unternehmen ein. Ich gebe nur ein Beispiel: Der AI Act unterscheidet zwischen Anbietern und Betreibern. Und wenn Sie durch einen blöden Zufall vom Betreiber zum Anbieter werden, ohne dass Sie es wissen, müssen Sie über 50 Dokumente ausfüllen, statt 20. Wenn Sie in einen „Risikobereich“ kommen, weil Sie KI vielleicht in der Personalabteilung einsetzen, dann müssen Sie diese 50 Dokumente ausfüllen – daran ersticken Unternehmen. Die Konsequenz wird sein, dass viele Unternehmen KI nicht dort einsetzen, wo sie eigentlich sinnvoll eingesetzt werden könnte, denn die möglichen ökonomischen Folgen sind zu groß. Wir reden nicht über Strafzahlungen von einem oder zwei Prozent des weltweiten Umsatzes, sondern von bis zu sieben Prozent. Dazu kommt die vorgesehene Beweislastumkehr im Risikobereich. Sie müssen dann beweisen, dass Sie mit der KI Menschen nicht diskriminiert haben. Da haben Sie viel zu tun. Das ist ein überbordender Eingriff in die Entwicklung und den Einsatz der KI in den Unternehmen.

RO: Ein großes Problem, ja. Ich meine, ich will auch geschützt werden vor der Datenkrake KI, die mich sonst auf Schritt und Tritt verfolgt. Social Scoring ist ja verboten. Das ist auch gut so. Für diesen Schutz kann man die EU loben. Aber die Probleme gehen weit darüber hinaus. Es ist alles geregelt bis zum letzten Bit und Byte. Sie möchten mal eine kleine KI-Auswertung im Sales-Bereich machen, dann müssen Sie für das damit betraute Personal KI-Kompetenzen nachweisen.

RO: Als ich das 2021 geschrieben habe, habe ich an eine Aufholjagd insbesondere von afrikanischen Nationen gedacht. Denn Sie brauchen heute nur einen Computer und nicht diese große Infrastruktur, die wir in Westeuropa und mittlerweile auch in China haben. Sie brauchen nur einen klugen Geist. Und den gibt es überall auf der Welt. Kluge Geister, billige Arbeitskräfte – die gibt es in Afrika. Die Zukunft sind Digitalisierung, KI und die Auswertung von Daten mit KI. Und in diesen Bereichen können Sie große Sprünge machen, ohne zuvor eine Stahlindustrie oder eine Autoindustrie aufgebaut zu haben.
Aber das, was Leute wie Altman versprechen, dass der Welthunger besiegt wird, das kann man vergessen. Der Welthunger könnte heute schon beseitigt werden. Das ist ein politisches Problem, kein technisches. Wir können das jetzt machen, wenn wir es wollten.
Was die KI aber in westlichen Gesellschaften bringen wird, das ist mehr Überwachung. Den Nobelpreis für Physik haben letztes Jahr John Hopfield und Geoffrey Hinton erhalten, zwei KI-Leute. Und Hinton hat vor der Entwicklung der KI gewarnt. Dazu habe ich in einem Beitrag für das Physik Journal Stellung bezogen. Diese Warnungen sind gerechtfertigt, aber nicht in dem Sinne, dass die KI klüger wird als wir. Das wird nicht passieren. Aber die KI wird zu massiver Überwachung führen. Bisher haben wir technische Prozesse mit KI überwacht. Ich habe 1994 mein erstes KI-Projekt durchgeführt. Wir haben die Fabrik eines Autozulieferers mit KI automatisiert. Das heißt, Industrieprozesse überwachen wir schon lange vollständig. Und die Gefahr ist nun, dass diese KI-Überwachung auf soziale Prozesse angewendet wird. Teilweise aus vermeintlich guten Gründen, um die Menschen zu schützen, um ihnen mehr Sicherheit zu geben. Aber so landen wir schnell bei chinesischen Verhältnissen. Wollen wir das? Will ich um der Sicherheit willen diese totale Überwachung? Oder will ich weniger Überwachung und nehme dafür mehr Unsicherheit in Kauf? Nun, ich glaube, ein Land wie Deutschland tendiert zu Sicherheit.
Aber lasst uns gerne die kaufmännischen Prozesse und die technischen Prozesse mit KI überwachen, aber doch nicht die gesellschaftlichen Prozesse! Aber genau das wird passieren. Beziehungsweise, es passiert schon: Wenn ich höre, dass KI Facebook oder andere soziale Netzwerke durchforstet – das ist Überwachung gesellschaftlicher Prozesse. Diese Überwachungsmittel gehören da aber nicht hin.

RO: In Deutschland und Europa findet sehr gute Forschung statt. Wir können neuronale Netze auf Quantencomputern bauen. In der Forschung dazu sind wir Weltspitze. Da muss man sich nur ansehen, was an den Fraunhofer-Instituten gemacht wird. Wir sind auch Weltspitze, wenn es darum geht, die KI in der Industrie einzusetzen. Wenn Delegationen aus China kommen, dann wollen sie sich nicht die neuronalen Netze ansehen, sondern sehen, wie wir KI in der Industrie anwenden. Da müssen wir uns nicht verstecken.
Sobald es in den kommerziellen Bereich geht, werden die Technologien allerdings garantiert wieder in den USA weiterentwickelt und dort zuerst auf den Markt gebracht. Viele Dinge werden in Europa entwickelt, aber sie werden hier nicht zur kommerziellen Reife geführt. Denn, wenn Sie in Europa 10 Millionen für Ihr Projekt bekommen wollen, dann müssen Sie sich sehr anstrengen. Mit derselben Anstrengung bekommen Sie in den USA Milliardenbeträge. Aleph Alpha in Heidelberg ist dafür ein Beispiel. Eine tolle Firma, die sich mit Sprachmaschinen beschäftigt. Dafür haben sie für europäische Verhältnisse große Mittel erhalten. Aber global betrachtet ist das lächerlich. OpenAI bekommt enorme Summen und macht Verluste ohne Ende. Die großen Gelder für die Entwicklung und Forschung werden in den USA aufgebracht, weil man die marktbeherrschende Stellung halten will. Und das gelingt. Noch. Aber China wird aufholen, was man bei den Sprachmaschinen bereits erahnen kann. Und das große Geschäft mit KI auf neuromorphen Computern wird wohl wieder in den USA gemacht. Vielleicht müssen wir damit leben.

Das Interview wurde am 09.01.2024 geführt.

Otte, Ralf (2025): „KI wird zu massiver Überwachung führen“. In: Verantwortungsblog. https://zevedi.de/ki-wird-zu-massiver-ueberwachung-fuehren/ [28.03.2025].
https://doi.org/10.60805/d4de-2y02.

Kategorien
Uncategorized

Luca Neuperti

Mercator-Journalist in Residence im April 2025

Luca Neuperti ist Science Slammer und Wissenschaftskommunikator.

Er beschäftigt sich mit Themen aus den Bereichen Soziologie, Politikwissenschaften und Informatik. Luca Neupertis Fokus liegt darauf, gesellschaftlich relevante Schnittmengen zwischen Technologie und Gesellschaft verständlich aufzubereiten, ohne dabei technische oder soziale Aspekte zu vernachlässigen. Mit über 70 Auftritten deutschlandweit und als Finalist der Science-Slam-Deutschlandmeisterschaft 2024 vermittelt er wissenschaftliche Inhalte einem breiten Publikum. Ende 2025 beginnt er ein Studium der Digitalen Soziologie in Großbritannien.

Vorhaben

Luca Neupertis Fokus bei ZEVEDI liegt auf dem Digitalen Euro. Sein Ziel ist es, nicht nur dessen technische Funktionsweise zu erklären, sondern insbesondere die verschiedenen sozialen Vorstellungen eines Digitalen Euro untersuchen. Woher kommen Verschwörungserzählungen? Wie lassen sich unterschiedliche Verständnisse des Digitalen Euro einordnen?
Um diese Fragen einer breiteren Öffentlichkeit zugänglich zu machen, plant Luca, Vorträge im Stil eines Science Slams durchzuführen. Dabei setzt er auf eine unterhaltsame, aber wissenschaftlich fundierte Vermittlung, um Menschen an das Thema heranzuführen und ein grundlegendes Verständnis für den Digitalen Euro zu schaffen.

Kategorien
Uncategorized

Dr. Martin Hock

Mercator-Journalist in Residence im März 2025

Portraitfoto Martin Hock

Dr. Martin Hock ist Finanzredakteur der Frankfurter Allgemeinen Zeitung.

Er schreibt über eine Vielzahl von Themen des Finanzmarkts und der persönlichen Finanzen, vor allem zu Fragen des Vermögensaufbaus und -verwaltung. Zu den Spezialthemen des promovierten Volkswirts gehört auch das disruptive Potenzial der Blockchain-Technik und der sogenannten Kryptowährungen für das Geld- und Finanzwesen.

Er ist Leiter des PRO-Finanzen-Briefings der F.A.Z. und Herausgeber des F.A.Z.-Börsenlexikons und Mitglied der Jury des European Small and Midcap Award der Europäischen Kommission

Vorhaben

Bei ZEVEDI beschäftigt sich Martin Hock mit der Frage von Macht im Web3 und DeFi. Im Web3 sollen Nutzer die Kontrolle über ihre Daten und Leistungen wiedererlangen. Das Leitbild ist ein Netzwerk Selbständiger, deren Leistungen unmittelbar (kryptomonetär) und durch Kontrollbefugnisse im Netzwerk vergütet werden. Die Frage ist, ob dieses kooperative Element nicht durch interne und externe Vermachtung bedroht ist. Die Handelbarkeit von Token ermöglicht Kontrollübernahmen, praktische Entwicklungen stützen die These. Da Web3 nicht im Fokus der Wettbewerbsbehörden steht, unterliegen auch Fusionen und Übernahmen keiner Kontrolle.

Der Aufenthalt bei ZEVEDI – Impulse und Effekte

■ Wissenschaftlicher Workshop „Web 3“? Tokenökonomie & Demokratisierung, 20. März 2025, TU Darmstadt.

Kategorien
Uncategorized

2.2. Kleines Geld, große Wirkung? – Digitales Trinkgeld

Episodencover Staffel 2

Trinkgeld wird häufig so beiläufig behandelt wie es bezahlt wird. Was genau Trinkgeld ist, lässt sich nicht mal mit einem präzisen Rechtsbegriff fixieren, sondern gleicht eher einer „sittlichen Vereinbarung“, wie es der Historiker Winfried Speitkamp bezeichnet, der mit seinem kleinen Bändchen Der Rest ist für Sie! eine der sehr wenigen deutschen wissenschaftlichen Publikationen zur Geschichte des Trinkgelds vorgelegt hat. Dabei ist das Zahlen von Trinkgeld alles andere als eine Kleinigkeit: 10 Prozent auf jede trinkgeldfähige Transaktion, im Restaurant oder beim Taxifahren, zumindest in Deutschland; in den USA ist bekanntlich gar das Doppelte üblich, etwa 20 Prozent. Volkswirtschaftlich betrachtet kommen dort also erstaunliche Summen zusammen – in deutschen Restaurants allein mehr als 2 Milliarden Euro pro Jahr –, die aber in Deutschland kaum reguliert, und vor allem nicht versteuert werden müssen.

 

Im Kontext des Digitalen hat sich die Eigenart der beiläufigen, fast versteckten Mikrozahlung verschoben. Werden digitale Technologien dem Trinkgeld oder seinem Rückgang Momentum geben? Dieser Frage gehen wir in der zweiten Episode unserer Staffel zu Mikrozahlungen nach. 

Staffel Kleines Geld – Folge 2 | 28. Februar 2025

Gäste

Sascha Hoffmann ist Professor für Betriebswirtschaftslehre und Online-Management. Einer seiner Forschungsschwerpunkte liegt auf Digitalem Produktmanagement. Er hat 2021 eine empirische Studie veröffentlicht, in der er den Zusammenhang von kleineren Geschenken im Restaurant mit größeren Gegengaben (d.h. Trinkgeld) offenlegt. 

Katrin Lindow-Schröder ist Referentin für Fundraising bei der Evangelischen Kirche in Hessen und Nassau. Sie hat dabei mitgewirkt, digitale Bezahloptionen in der Landeskirchengemeinde einzuführen.

Weiterführendes

Den im Podcast zitierten Beitrag zu Ubers „No-Tip-Policy“ kann man hier lesen. Die Studien von den beiden Marketingforschern Hansen/Warren lassen sich hier anlesen, ebenso die Studie von Jägermeister Mast. Die „Schweizer Diskussion“ ums Trinkgeld lässt sich in diesem NZZ-Beitrag tiefergehend nachvollziehen.

Alle Folgen des Digitalgelddickichts»

Alle ZEVEDI-Podcasts

Creative Commons Lizenzvertrag

Kategorien
Uncategorized

2.1. Kleines Geld, große Wirkung? – Mikrozahlungen im Journalismus

Cover Digitalgelddickicht Staffel 2 Folge 1

Der Journalismus hat sich mit der Digitalisierung grundlegend verändert. Zum Teil in seinen Inhalten, in seinen Formaten, und auch und vielleicht besonders in seinen Infrastrukturen und der Art und Weise, wie er sich finanziert. Klassische Abomodelle von Tages- oder Wochenzeitungen zum Beispiel sind ins Hintertreffen geraten, auch die sichere Einkommenssäule durch Anzeigen ist bröcklig geworden. Digitale Äquivalente dazu haben sich zwar gebildet, aber alte längst nicht vollwertig ersetzen können. Es braucht ganz anders gedachte Geschäftsmodelle – und die haben sich entwickelt und entwickeln sich weiter.

 

In dieser Folge fragen wir uns im Digitalgelddickicht: Welche Rolle spielen kleine digitale Beteiligungsmodelle im Journalismus? Tragen kleine Zahlungen, trägt die Idee eines „Mini-Payment“ dazu bei, ihn in eine neue Phase seriöser journalistischer Arbeit hineinzufinanzieren? Oder führen die Effekte der Digitalisierung die traditionellen und auch weniger traditionellen Medien vor allem in die Prekarität, verändern die auf das Kleine setzenden Bezahlmodelle sie nachhaltig zum Schlechten, hin zur reinen Unterhaltung? Und was heißt „Mikrozahlung“ eigentlich konkret im Journalismus – Einmalzahlung, Abo oder der einzelne Beitragskauf?

Staffel Kleines Geld – Folge 1 | 17. Dezember 2024

Gäste

Ann-Kathrin Liedtke ist Leiterin für Onlinebezahlstrategien und Mitgliedschaften bei der taz, für die sie seit 2016 arbeitet. Davor war sie Verantwortliche der taz Blogs und Programmredakteurin beim taz lab.

Sebastian Esser ist Geschäftsführer der Plattform Steady. Außerdem ist er seit 2014 Co-Vorstand der Genossenschaft und Herausgeber des Magazins Krautreporter.

André Peschke hat gemeinsam mit Jochen Gebauer „The Pod“ ins Leben gerufen, einer der meistgehörten Gaming-Podcasts in Deutschland, nachdem er Video-Chefredakteur bei Gamestar gewesen ist.

Weiterführendes

Den im Podcast zitierten Beitrag des Colombia Journalism Review kann man hier lesen. Ein weiterführendes Interview mit dem Medienforscher Christian-Mathias Wellbrock findet sich hier.

Alle Folgen des Digitalgelddickichts»

Alle ZEVEDI-Podcasts

Creative Commons Lizenzvertrag

Kategorien
Akzentfarbe: Violett (Erdogan-Beitrag) Autorin: Julia Gül Erdogan Uncategorized Verantwortungsblog

Von Helden zu Schurken? Zur Entwicklung des Hackerbegriffs

Von Helden zu Schurken?
Zur Entwicklung des Hackerbegriffs

„Hacker-Großangriff auf E-Mail-Konten“, „Die Welt im Visier: So effektiv arbeiten Nordkoreas Hacker“, „Cybermafia von Putins Gnaden?“ – das sind drei von vielen Schlagzeilen, in denen Hacker als Truppen in Diensten autoritärer Staaten erscheinen. Fasst vergessen scheinen die Zeiten, als Hacker noch vornehmliche als renitente Nerds erschienen, die staatliche Geheimnisse aufdeckten und Übergriffe bekämpften. Ein Blick in die Geschichte des Begriffs zeigt: Der Hackerbegriff ist schon lange umkämpft.

Von Julia Gül Erdogan | 31.01.2025

Gemälde im Stil des Kubismus: Zu sehen ist eine Figur mit Hit und ein Desktop-PC.
Gemälde im Stil des Kubismus: Zu sehen ist eine Figur mit Hut und ein Desktop-PC. Erstellt mit Adobe Firefly.

Hacken sei der intellektuelle Anreiz, eine Lösung für ein Problem zu finden und „zwar unter vollkommener Ignoranz vorgegebener Wege“. So beschrieb der ehemalige Sprecher des Chaos Computer Clubs (CCC), Andy Müller-Maguhn, in einer Dokumentation von 3Sat aus dem Jahr 2010 das Hacken (Glasstetter/Meyer 2010). Diese Beschreibung trifft besonders auf die Anfänge des Hackens zu, sie verweist auf den unorthodoxen Umgang der Hacker mit Computern. Ursprünglich stand „Hacken“ für ein spielerisches Erkunden und Lösen technischer Probleme innerhalb kleiner Gemeinschaften. Der Begriff beschrieb eine Praxis, die stark von Neugier, Kreativität und Ingenieurskunst geprägt war. In Verbindung mit aktivistischen Aktionen gegen den Missbrauch personenbezogener Daten galten Hacker lange Zeit als eine Art Bürgerrechtsbewegung der digitalisierten Welt. Sie wurden bewundert. Doch diese Auffassung scheint zunehmend in den Hintergrund zu treten und wird nur noch in kleinen Kreisen geteilt. In der medialen Öffentlichkeit dominiert stattdessen das Bild des Hackens als eine kriminelle Handlung. Zudem werden Hackeraktivitäten heute häufig mit staatlicher Sabotage in Verbindung gebracht, was den ursprünglich antiautoritären und anarchistischen Werten des Hackens diametral entgegensteht.

Wie kam es zu diesem Wandel? Haben Hacker trotz zahlreicher Bemühungen die Deutungshoheit über den Begriff verloren? Haben die Medien das Hacken zu einem Symbol ständiger Bedrohung stilisiert, getrieben von Sensationslust? Oder zielte der Hackerbegriff im Grunde immer schon nur auf eine technische Ebene ab und klammerte moralische Fragen aus?

Um diese Fragen zu beantworten, werfen wir einen kursorischen Blick auf die Entwicklung des Hackens seit den 1950er Jahren, als die ersten Hacker in Erscheinung traten. Dabei werde ich Periodisierungen vornehmen, die gesellschaftliche, internationale politische und technische Bedingungen sowie ihre Wechselwirkungen mit der Entwicklung des Hackerbegriffs beleuchten. Allerdings sollten diese Periodisierungen nicht als starre Epochenabschnitte verstanden werden, sondern lediglich vorherrschende Tendenzen markieren.

Der Begriff „Hacker“ entstand in den 1950er Jahren am Massachusetts Institute of Technology (MIT). Dort bezeichnete ein „Hack“ einerseits Streiche, die sich Studenten gegenseitig spielten. Andererseits beschrieb der Begriff im Tech Model Railroad Club (TMRC), dem Modelleisenbahnclub des MIT, eine clevere Lösung für ein Problem. Ein „Hack“ war somit eine kreative oder besonders geschickte, oft spielerische technische Lösung (Levy 2010: 10). Die Bezeichnung hatte eine positive Konnotation und hob Neugier sowie Innovation durch Neuarrangements hervor.

Mit der Einführung der ersten Großrechner an Universitäten wandten sich technikbegeisterte Tüftler wie die Mitglieder des TMRC den neuen Maschinen zu. Diese frühen Hacker experimentierten mit Computern, um deren Möglichkeiten und Grenzen auszuloten. Sie teilten die wissenschaftlichen Werte ihres Umfelds, wie den offenen Informationsfluss und die Freude an der Erforschung von Systemen. Da deren Bedienung und Nutzung stark reglementiert war, verschafften sich diese ersten Hacker allerdings auch schon unautorisierten Zugang zu den Lochkartenrechnern. Dabei handelte es sich um raumfüllende, teure elektromechanische Computer, die Daten und Anweisungen in Form von perforierten Karten lesen und verarbeiten, um Berechnungen oder andere automatisierte Aufgaben durchzuführen.

Hacker galten zunächst noch als „exzessive“ Programmierer und Tüftler, die beinahe suchtartig mit Computern arbeiteten, um Programme zu entwickeln und neue Einsatzmöglichkeiten zu entdecken (Weizenbaum 1978, 164). In den 1970er Jahren ermöglichte die Verkleinerung von Computern durch die Chiptechnologie deren erste private Nutzung. In der San Francisco Bay Area entstanden dann in dieser Zeit Hobby- und Aktivistengruppen, die die gesellschaftliche und politische Entwicklung von Computern mitgestalten wollten und dadurch den Hackerbegriff um eine aktivistische Komponente erweiterten. Der Anti-Kriegs-Aktivismus und das Free Speech Movement verbanden sich mit den Interessen der „Nerds“. Ein Beispiel hierfür ist das Projekt Community Memory, das ab 1973 computergestützte Kommunikationsnetzwerke für soziale Bewegungen aufbaute. Aber auch die Free- und Open-Source-Software-Bewegung ist Ausdruck gegenkultureller Werte der Hackerkulturen (Imhorst 2004).

Mit der On-Line-Vernetzung während der Heimcomputer-Ära der 1980er Jahre begannen viele Jugendliche, unerlaubten Zugang zu geschlossenen Accounts und Servern zu suchen. 1981 hatten sich Hacker über das ARPANET1 in das Überwachungssystem sowjetischer Atombombenversuche gehackt und eine Gruppe Jugendlicher (The 414s) waren 1983 in Computer des Los Alamos National Laboratory eingedrungen, das Atom- und Wasserstoffbomben entwickelte. 1984 wurde der Film WarGames ein Kinohit, dessen Handlung sich an diese Aktionen anlehnte und in dem sich ein Jugendlicher aus Versehen in das Kontrollsystem für den Abschuss von Atombomben hackt.

Während diese Aktivitäten von aktivistischen Hackern selbst noch häufig als intellektuelle Herausforderungen gesehen wurden, distanzierten sie sich von jenen, die aus finanziellem Eigeninteresse in Systeme eindrangen oder explizit Schäden verursachten. Steven Levys Buch Hackers: Heroes of the Computer Revolution (1984) kann als Reaktion auf diese Entwicklungen gesehen werden. Es versuchte, die Deutungshoheit über den Hackerbegriff zu bewahren, auch indem er die sogenannte „Hacker-Ethik“ verfasste, die Dezentralisierung, flache Hierarchien, Kreativität und Informationsfreiheit propagierte. Der Medienwissenschaftler Claus Pias sieht darin den Versuch des Hackers eine Grenze zu ziehen, „die durch ihn selbst hindurchgeht“ und den „bösen“ Teil abtrennt: „Der gute Hacker war fortan Sozialutopist mit medientechnischem Apriori.“ (Pias 2002, 268)

In Deutschland etablierte der CCC durch humorvoll inszenierte Hacks ein weitgehend positives Bild von Hackern. 1984 hackte der CCC das Online-System Bildschirmtext (Btx), um auf Sicherheitslücken aufmerksam zu machen. Mit einer inszenierten Abbuchung von 135.000 DM demonstrierten sie die Schwächen des Systems und zugleich das Idealbild des guten Hackers, der nicht zur eigenen Bereicherung, sondern zu Aufklärungszwecken hackt.

Im Umbruch zu den 1990er Jahren entstand im deutschen Kontext auch ein weiterer Begriff der Hackerkultur: die „Haecksen“. Damit machte eine Handvoll Frauen auf die Unterrepräsentation weiblicher Akteure in der Hackerszene aufmerksam. Ziel war es, Frauen entsprechend den Hackerwerten aus einer stark gegenderten, passiven Nutzerrolle zu emanzipieren und den Spaß an Computern zu vermitteln (Erdogan 2020).

Aber auch das weitgehend positive Bild des Hackens, das der Club in der Bundesrepublik gezeichnet hatte, geriet am Ende der 1980er Jahre ins Wanken. Ursache dafür waren insbesondere zwei Hacks im Umfeld des CCC: Zum einen waren Hacker in Systeme der NASA eingedrungen und stießen dort unter anderem auf Baupläne von Atomkraftwerken. Zum anderen hatte der sogenannte KGB-Hack – bei dem unter anderem der Hacker Karl Koch Informationen an den sowjetischen Geheimdienst verkauft hatte – erhebliche mediale Aufmerksamkeit erregt. Obwohl beide Vorfälle weniger schwerwiegend waren als zunächst dargestellt, dominierte das Bild der Hacker als Bedrohung einer zunehmend auf Computertechnik gestützten Welt immer stärker die öffentliche Wahrnehmung.

Die zunehmende digitale Vernetzung durch das World Wide Web machte Hacking zu einem globalen Thema. Begriffe wie „White Hat“ (ethische Hacker), „Black Hat“ (kriminelle Hacker) und „Grey Hat“ (Hacking mit ambivalenten Motiven) entstanden, um unterschiedliche Aktivitäten zu kategorisieren.

Mitte der 1990er Jahre tauchte dann erstmals der Begriff „Hacktivism“ auf. Der Schriftsteller Jason Sack verwendete ihn 1995 in der Beschreibung des Films Fresh Kill von Shu Lea Cheang. Häufig wird die Begriffsprägung jedoch Omega, einem Mitglied der Hackergruppe Cult of the Dead Cow (cDc), zugeschrieben. Was genau unter Hacktivismus verstanden wird, ist bis heute nicht einheitlich und variiert ebenso stark wie der Begriff des Hackens selbst. Hacktivismus kann sowohl negativ im Kontext von Cyberterrorismus angesiedelt werden als auch positiv betrachtet werden, als eine Form des Hackens, die mit einer konstruktiven Stoßrichtung technische, soziale oder gesellschaftliche Veränderungen bewirken will. Im Gegensatz zum Hacken ist Hacktivismus jedenfalls durch eine explizite politische Dimension gekennzeichnet. Während Hacken weiterhin auf rein technischer Ebene stattfinden kann, ohne gesellschaftliche oder politische Zielsetzungen, zielt Hacktivismus darauf ab, gesellschaftliche Veränderungen herbeizuführen.

Einige Aktionen von Hacktivisten, wie Denial-of-Service-Angriffe (DDoS), können darauf abzielen, den Zugang zu Informationen gezielt zu verhindern. Dieses Vorgehen steht jedoch im Widerspruch zum ursprünglichen radikalen Freiheitsanspruch der Hacker und ihrer Forderung des uneingeschränkten Zugangs zu Informationen. Außerdem benötigen solche Angriffe oft kein tiefes technisches Verständnis, da hierfür fertige Tools genutzt werden können.

Mit der zunehmenden Vernetzung von Computern und der Diffusion digitaler Technik in den Alltag vieler Menschen und Staaten, differenzierte sich nicht nur die Nutzung von Computern weiter aus, sondern auch die Möglichkeiten, diese Systeme zu stören oder zur eigenen Bereicherung zu nutzen. Dies gilt auch für Staaten. Da sowohl Infrastruktur als auch Kommunikation seit der Jahrtausendwende weitgehend durch Digitaltechnologie verwaltet und organisiert wird, kann das Hacken hier nicht nur zu Spionagezwecken genutzt werden, sondern auch explizit als Kriegshandlung. Besonders in Verbindung mit Cyberangriffen auf kritische Infrastrukturen verfestigte sich somit das Bild des Hackens als Bedrohung. Aber diese Ebene der Bedrohung betrifft nicht nur zwischenstaatliche Aktionen, sondern wiederum Aktivist:innen, zu deren Daten sich Regierungen etwa durch Trojaner unautorisiert Zugang verschaffen (White 2020, 24).

Während „Hacken“ im Bereich der IT-Sicherheit und in sozialen Bewegungen noch immer positiv als Ausdruck von Neugier, Erfindungsreichtum und Datenschutzaktivismus gewertet wird, löst der Begriff heute zugleich auch negative Assoziationen aus. Diese Gegensätzlichkeit verdeutlicht die Vielfalt der Hackerkulturen, die Spannungen zwischen unterschiedlichen Motiven und Praktiken, aber auch die Zunahme von Hacks in einer vernetzten Welt. Die Entwicklung des Begriffs „Hacker“ spiegelt den Wandel der technischen Möglichkeiten, die Integration der Computertechnik in den Alltag und die damit verbundenen kulturellen Praktiken wider.

Ursprünglich jedoch bezeichnete der Begriff eine Problemlösung, die oft mit der Zweckentfremdung von technischen Geräten einherging. Da sich der Begriff anfangs auf die Verschiebung technischer Grenzen konzentrierte, war er weder moralisch noch politisch definiert. Aufgrund dieser Neutralität konnten ihn Gruppen an ihre Zwecke anpassen, aber die Öffentlichkeit und die Medien konnten ihn auch nutzen, um das Eindringen in Computersysteme allgemein als „Hacken“ zu klassifizieren. Der „Hacktivismus“ verwandelt die Bezeichnung einer Praktik dann in ein (wiederum vieldeutiges) Programmwort. Insbesondere Presse und Film nutzten die Offenheit des Begriffs und das Geheimnisvolle der Hacker-Figur, um Hacken als Bedrohung oder Sensation darzustellen, was den Wandel in der öffentlichen Wahrnehmung des Begriffs beschleunigte. Mit der Lust am Basteln und vor allem mit dem Anspruch, Computer zum Erschaffen, statt zum Zerstören zu nutzen, die weiterhin Konstanten der Hackerkulturen darstellen, hat dieses Bild jedoch immer weniger gemein.

  1. Das Advanced Research Projects Agency Network oder ARPANET war ein dezentrales Computernetzwerk, das durch die Advanced Research Projects Agency des US-Verteidigungsministeriums eingerichtet wurde, um ab 1969 verschiedene US-Universitäten miteinander zu verbinden, die für das Verteidigungsministerium forschten. ↩︎

Erdogan, Julia Gül (2020): „Computer Wizards“ und Haecksen. Geschlechtsspezifische Rollenzuschreibungen in der privaten und subkulturellen Computernutzung in den USA und der Bundesrepublik. In: Technikgeschichte Bd. 87 H. 2, S. 101-132.

White, Geoff (2020): Crime Dot Com: From Viruses to Vote Rigging, How Hacking Went Global, London: Reaktion Books.

Gabi Glasstetter & Uta Meyer (2010): Die Akte CCC – Die Geschichte des Chaos Computer Clubs. ZDF.

Levy, Steven: Hackers. Heroes of the Computer Revolution, 25th Anniversary Edition, Sebastopol u.a.: O’Reilly Media 2010.

Imhorst, Christian (2004): Die Anarchie der Hacker. Richard Stallman und die Freie-Software-Bewegung, Marburg: Tectum.

Pias, Claus (2002): Der Hacker in: Eva Horn, Stefan Kaufmann & Ulrich Bröckling (Hg.): Grenzverletzer. Von Schmugglern, Spionen und anderen subversiven Gestalten, Berlin: Kadmos, S. 248-270.

Weizenbaum, Joseph (1978): Die Macht der Computer und die Ohnmacht der Vernunft, Frankfurt a. M.: Suhrkamp.

Erdogan, Julia Gül (2025): Von Helden zu Schurken? Zur Entwicklung des Hackerbegriffs. In: Verantwortungsblog. https://zevedi.de/von-helden-zu-schurken-zur-entwicklung-des-hackerbegriffs/ [31.01.2025]. https://doi.org/10.60805/z8tj-k684.

Kategorien
Akzentfarbe: blau Autor: Friederike Rohde Uncategorized Verantwortungsblog

Daten- und ressourcenhungrig: Gibt es eine nachhaltige KI?

Daten- und ressourcenhungrig:
Gibt es eine nachhaltige KI?

Mittlerweile gibt es kaum einen Bereich, in dem nicht davon gesprochen wird, dass durch die Nutzung von KI Effizienzsteigerung oder Optimierung möglich sei: im Finanzsektor, im Onlinehandel, in der Industrie, in der Medizin oder im Bildungsbereich. Die Nutzung von Diensten, die auf großen Sprachmodellen (Large Language Models oder kurz LLMs) beruhen, ist rasant angestiegen und viele Millionen Menschen nutzen täglich ChatGPT oder andere KI-Technologien. Gleichzeitig wird immer deutlicher, dass diese Systeme wahrscheinlich nicht nur zur Bewältigung einiger komplexer Probleme beitragen werden, sondern auch eine ganze Reihe neuer Probleme schaffen, die es zu bewältigen gilt.

Von Friederike Rohde | 17.01.2025

Bild eines digitalen Fußabdrucks aus digitalen Symbolen
Erstellt mit Adobe Firefly: Prompt: „create a cubistic image from a vague digital footprint out of digital symbols“

Zu diesen Problemen gehört die Diskriminierung durch Voreingenommenheit und Stereotypen, die Konzentration von Marktmacht und die Herausbildung von Infrastrukturmonopolen, vor allem aber auch die Auswirkungen der Systeme auf die Umwelt, wie erhebliche CO2-Emissionen und der hohe Wasserverbrauch der digitalen Infrastruktur, die für den Betrieb der Systeme erforderlich ist. Die Nachhaltigkeitsfolgen von KI rücken immer mehr in den Blick und nimmt man die Forderungen nach einer umfassenden Nachhaltigkeitsperspektive (Rohde et al. 2024) ernst, dann zeigt sich, dass wir von einer „nachhaltigen KI“ noch weit entfernt sind.

Fortschritt wird derzeit an der Entwicklung von immer größeren Modellen festgemacht. Die ersten „Durchbrüche“ für die umfassende Nutzung von künstlichen neuronalen Netzen wurden durch die sogenannten Transformer-Modelle erzielt. Das sind Modelle, die einen Aufmerksamkeitsmechanismus beinhalten, der die menschliche Aufmerksamkeit nachahmen soll, und Text in numerische Darstellungen, sogenannte Token, und anschließend in Vektoren umwandeln. Wird dieses Transformer-Modell mit einer großen Menge von Daten trainiert, kann es beispielsweise für Übersetzungen eingesetzt werden. Mittlerweile werden immer mehr sogenannte Diffusions-Modelle entwickelt, die Daten generieren können, die denen ähneln, mit denen sie trainiert wurden. Diese Systeme werden umgangssprachlich auch als „generative KI“ bezeichnet. 

Die Größe dieser Modelle ist rasant angestiegen. Während erste Transformer-Modelle um die 340 Millionen Parameter (dies sind die Werte oder Variablen des Modells) beinhalten, kommen aktuelle LLMs wie PaLM (Google) auf 540 Milliarden Parameter. Mit der Größe der Modelle steigt auch die erforderliche Rechenkapazität, die wiederum jedoch mit vielfältigen Auswirkungen für Menschen und Umwelt verbunden ist. Aktuelle Studien zeigen, dass der Carbon Footprint des Trainings großer Modelle wie GPT3, bei 552 Tonnen CO2-Äquivalenten liegt (Luccioni et al. 2023). 

Die Nachhaltigkeitsbilanz von KI wird auch getrübt durch den Abbau von Rohstoffen für die Hardware, also die GPUs (Graphic Processing Units), die mit diesem Abbau oft einhergehenden Menschenrechtsverletzungen oder die Konflikte um die Wassernutzung durch die Rechenzentren, die in Regionen mit Wasserknappheit wie Chile oder Uruguay zunehmend auftreten. Ein Forschungsteam hat den Wasserfußabdruck beim Betrieb von Rechenzentren, die für das Training großer Sprachmodelle genutzt werden, auf 700.000 Liter Trinkwasser beziffert (Li et al. 2023). Jüngst haben diese Forscher darauf hingewiesen, dass der Verbrauch sogar noch viermal höher ist als in der Studie errechnet (Sellman 2024). 

Die Frage, ob die enorme Größe der Sprachmodelle im Verhältnis zum daraus hervorgehenden Nutzen überhaupt notwendig ist, spielt meist nicht wirklich eine Rolle. Die vorherrschende Erzählung, KI sei neutral, autonom oder Werkzeug zur Demokratisierung, muss hinterfragt werden (Rehak 2023). Auch die Vision, über die Möglichkeiten des Technologieeinsatzes einen Beitrag zur Reduktion des Umweltverbrauches oder der Klimakrise zu leisten, gehört auf den Prüfstand. Erstens handelt es sich oftmals um Effizienzsteigerungen, die schnell durch höhere Produktivität aufgefressen werden. Denn die Rechnung wird meist ohne das Wirtschaftswachstum gemacht. So kommt beispielsweise eine aktuelle Studie von PwC und Microsoft zu dem Schluss, dass mittels KI-Technologien zwischen 1,5 und 4 % CO2 eingespart werden können, gleichzeitig wird aber ein Wirtschaftswachstum von 4 % durch den Einsatz von KI prognostiziert (Joppa/Herwejer 2024). Die relative Einsparung wird also durch das größere Wirtschaftsvolumen eingeholt, so dass eine absolute Reduktion der Emissionen fraglich ist. Zweitens zielt die KI häufig darauf ab, eine bestehende Vorgehensweise zu optimieren. Beispielsweise wird in der Landwirtschaft KI eingesetzt, um den Pestizideinsatz zu reduzieren. Aber die grundsätzliche Frage, wie wir zu einer alternativen und ökologisch verträglichen Form der Landwirtschaft kommen, die gar keinen Pestizideinsatz mehr notwendig macht, kann uns diese Technologie nicht beantworten. 

Fortschritt im Bereich der KI könnte prinzipiell auch etwas anderes bedeuten – zum Beispiel, dass spezialisierte Modelle für Einsatzzwecke entwickelt werden, für die sie einen wichtigen Mehrwert bieten. Ihre Komplexität wäre dann tendenziell begrenzter, beziehungsweise würde ihre Größe ins Verhältnis zu anderen Zielen gesetzt werden.

Neben der Nachhaltigkeitsfrage stellt sich auch immer vernehmbarer die Gerechtigkeitsfrage: Vom Abbau der Rohstoffe, über den Energie- und Wasserhunger der Datenzentren bis zur Deponierung des Elektroschrottes – die materiellen Voraussetzungen und Auswirkungen, für die mit vielen Versprechungen verbundene KI-Technologie, sind global ungleich verteilt. Während die Profiteure der Technologie vor allem Unternehmen oder Gemeinschaften im globalen Norden sind, treffen viele der ökologischen und sozialen Folgen vor allem den globalen Süden. In Indien ringen beispielsweise lokale NGOs mit Datencenterbetreibern um die Nutzung von Trinkwasser und gleichzeitig werden die Daten für das Training der LLMs in Kenia und Nigeria gelabelt, weshalb beispielsweise das Wort „delve“ viel häufiger in KI-generierten Texten vorkommt als im angloamerikanischen Sprachgebrauch üblich. Globale Gerechtigkeitsfragen spielen also zunehmend eine Rolle und werden noch sehr viel gravierender werden, je stärker der Einsatz dieser Technologie zunimmt. 

Darüber hinaus gibt es eine ganze Reihe von Zielkonflikten, die aus einer umfassenden Perspektive zutage treten. Beispielsweise ist eine Verlagerung von lokalen Rechenzentren hin zu Cloud-Anbietern aus einer ökologischen Perspektive sinnvoll, um Ressourcen zu bündeln. Sie fördert aber gleichzeitig eine Konzentration im Cloud-Markt und ist daher ökonomisch weniger nachhaltig. Auch ist zu beobachten, dass Rechenzentrumsbetreiber aus Energieeffizienzgründen auf die weniger energieintensive Wasserkühlung, statt auf Luftkühlung setzen, was aber wiederum den Wasserverbrauch erhöht. Wenn wir auf ökonomischer Ebene eine größere Marktvielfalt möchten und den Zugang zu Modellen, beispielsweise durch Open Source, für kleinere Unternehmen und Akteure ermöglichen wollen, fördert diese größere Zugänglichkeit wiederum die Nutzungsintensität, was die negativen ökologischen Folgen verstärkt. Und schließlich ist ein sehr realistisches Szenario auch, dass wir KI-Modelle mit einem geringen ökologischen Fußabdruck entwickeln, die aber für Zwecke eingesetzt werden, die Nachhaltigkeitszielen entgegenstehen, beispielsweise die Erschließung neuer Ölfelder oder personalisierte Werbung, die den Konsum ankurbelt. 

Wenn komplexe und immer größere KI-Systeme in immer mehr Bereichen eingesetzt werden, ist es wichtig, die Nachhaltigkeitswirkungen entlang des gesamten Lebenszyklus zu betrachten. Das bedeutet sowohl die Bereitstellung und Aufbereitung der Daten, die Modellentwicklung, das Training, die Modellimplementierung, die Modellnutzung und Entscheidungsfindung zu berücksichtigen. Darüber hinaus ist die organisatorische Einbettung von großer Bedeutung, wenn es darum geht, KI-Systeme mit Verantwortung für die Menschen und den Planeten zu gestalten. Wenn wir wirklich eine umfassende Nachhaltigkeitsbetrachtung vornehmen wollen (Rohde et al. 2024), geht es darum, Auswirkungen auf sozialer Ebene, wie Diskriminierung, Verletzung von Persönlichkeitsrechten oder kulturelle Dominanz zu reduzieren, also auch darum, Marktmacht und Monopole zu hinterfragen und die ökologischen Auswirkungen zu betrachten. Wir müssen uns damit befassen, wo die Ressourcen herkommen und in welchen Regionen die Rechenzentren stehen sollen, ohne die die Modelle und Anwendungen nicht funktionieren. Es geht also auch darum, wie wir digitale Infrastrukturen gestalten und wie wir sie in Anspruch nehmen (Robbins & van Wynsberghe 2022).

Denn zur Beantwortung der Frage, ob KI-Systeme positive oder negative Wirkungen im Hinblick auf die Ziele für nachhaltige Entwicklung entfalten, kann nicht allein darauf geschaut werden, in welchem Sektor KI-Systeme eingesetzt werden und ob sich daraus möglicherweise positive Beiträge für einzelne Aspekte nachhaltiger Entwicklung (z.B. Klimaschutz oder Armutsbekämpfung) ableiten lassen. Diese verengte Perspektive greift zu kurz. Dies kann nur durch eine umfassende Perspektive auf KI erreicht werden, welche die sozialen, ökologischen und ökonomischen Auswirkungen entlang des Lebenszyklus‘ aller KI-Systeme adressiert. Hinter dem Anspruch eine nachhaltige Technologie zu entwickeln, welche die vielfältigen Wechselwirkungen zwischen sozialen, ökologischen und ökonomischen Auswirkungen berücksichtigt, steht in Anbetracht der derzeitigen Entwicklungen daher ein großes Fragezeichen.

Joppa, Lucas & Herwejer, Celine: (2024): How AI can enable a Sustainable Future, https://www.pwc.de/de/nachhaltigkeit/how-ai-can-enable-a-sustainable-future.pdf [14.11.2024].

Li, Pengfei, Yang, Jianyi, Islam, Mohammad A. & Ren, Shaolei: (2023): Li, P., Yang, J., Islam, M. A., & Ren, S. (2023): Making AI Less „Thirsty“: Uncovering and Addressing the Secret Water Footprint of AI Models. In:https://doi.org/10.48550/arXiv.2304.03271 [21.11.2024].

Luccioni, Alexandra Sascha, Viguier, Silvain & Ligozat, Anne-Laure  (2023). Estimating the carbon footprint of bloom, a 176b parameter language model. Journal of Machine Learning Research24(253), 1-15.

Rehak, Rainer (2023): Zwischen Macht und Mythos: Eine kritische Einordnung aktueller KI-Narrative. In: Soziopolis: Gesellschaft beobachtenhttps://www.soziopolis.de/zwischen-macht-und-mythos.html[14.11.2024].

Luccioni, Alexandra Sascha , Jernite, Yacine & Strubell, Emma (2024): Power Hungry Processing: Watts Driving the Cost of AI Deployment? In: Association for Computing Machinery (Hg.): FAccT ‘24: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery: New York, S. 85-99.

Mark Sellman (2024): ‚Thirsty‘ ChatGPT uses four times more water than previously thought. In: https://www.thetimes.com/uk/technology-uk/article/thirsty-chatgpt-uses-four-times-more-water-than-previously-thought-bc0pqswdr [21.11.2024].

Robbins, Scott & van Wynsberghe, Aimee (2022): Our new artificial intelligence infrastructure: becoming locked into an unsustainable future. In: Sustainability 14,/Nr. 8 (2022), 4829.

Rohde, Friederike et al. (2024): Broadening the perspective for sustainable artificial intelligence: sustainability criteria and indicators for Artificial Intelligence systems. In: Current Opinion in Environmental Sustainability 66, 101411.

Rohde, Friederike (2025): Daten- und ressourcenhungrig: Gibt es eine nachhaltige KI? In: Verantwortungsblog. https://zevedi.de/daten-und-ressourcenhungrig-gibt-es-eine-nachhaltige-ki/ [16.01.2025].
https://doi.org/10.60805/143q-ga43

Kategorien
Uncategorized

Wer hat die Macht im Zeitalter sogenannter „Künstlicher Intelligenz“?

Cover "Digitalgespräch" Bonusfolge mit Paul Nemitz

Das Digitalgespräch meldet sich vor den Feiertagen mit einer Bonusfolge: Die Gastgeberinnen Marlene Görger und Petra Gehring laden die Hörer:innen ausnahmsweise nicht zu einem Interview, sondern zu einem Vortrag ein. Am 10. und 11. Dezember 2024 hat in Darmstadt ein Symposium „Content? Context!“ stattgefunden, es ging um „Generative KI und kreative Autorschaft in Wissensarbeit und Literatur“. Federführend für das Programm war die Schriftstellerin, Übersetzerin und Moderatorin Nina George als Fellow des Zentrums verantwortungsbewusste Digitalisierung.

Als einer der Gäste des Symposiums sprach Paul Nemitz, Chefberater der Europäischen Kommission, über rechtliche Möglichkeiten und Perspektiven des Schutzes der Interessen von Autor:innen und Kreativschaffenden angesichts der Übermacht von Software-Unternehmen. Der Vortrag – gerichtet an Betroffene, die nach Strategien und Hebeln suchen, ihre Rechte geltend zu machen – gibt Einblicke in die Welt der Lobbyarbeit auf EU-Ebene, enthält Ratschläge und benennt Notwendigkeiten, und er macht die gesamtgesellschaftliche Perspektive klar, vor der die legitimen Interessen einzelner Kreativer und ihrer Verbände zu einer demokratischen Angelegenheit werden.

Bonusfolge: Vortrag von Paul Nemitz, Chefberater der Europäischen Kommission, 17. Dezember 2024
Weitere Informationen:

Link zum interaktiven Symposium „Content? Context! Generative KI und kreative Autorschaft in Wissensarbeit und Literatur“ am 10. und 11. Dezember 2024 in Darmstadt“: https://zevedi.de/themen/generative-ki-und-kreative-autorschaft/
Link zu Digitalgespräch Folge 36 mit Chris Biemann von der Universität Hamburg: https://zevedi.de/digitalgespraech-036-chris-biemann/
Link zu Digitalgespräch Folge 51 mit Jenifer Becker von der Universität Hildesheim: https://zevedi.de/digitalgespraech-051-jenifer-becker/
Link zu Digitalgespräch Folge 52 mit Nina George vom European Writers‘ Council: https://zevedi.de/digitalgespraech-052-nina-george/

Alle Folgen des Digitalgesprächs
Folge 63: Das Virtual Operations Support Team des THW: Internet-Einsätze im Zivil- und Katastrophen­schutz
Mit Ralf Daniel vom Virtual Operations Support Team (VOST) des THW | 1. April 2025 | zur Folge»
Folge 62: Schutz mittels Digital Services Act: Die Durchsetzung von Kinderrechten in digitalen Diensten
Mit Michael Terhörst von der Stelle zur Durchsetzung von Kinderrechten in digitalen Diensten (KidD) | 11. März 2025 | zur Folge»
Folge 61: Digital Streetwork: Sozialarbeit in digitalen Räumen
Mit Christina Dinar von der Katholischen Hochschule für Sozialwesen Berlin | 18. Februar 2025 | zur Folge»
Folge 60: Weit mehr als Technik: Suchmaschinen verstehen
Mit Dirk Lewandowski von der Hochschule für Angewandte Wissenschaften Hamburg | 28. Januar 2025 | zur Folge»
Folge 59: Was sind Berufsbilder und verändern sie sich durch Digitalität?
Mit Britta Matthes vom Institut für Arbeitsmarkt und Berufsforschung (IAB) der Bundesagentur für Arbeit | 26. November 2024 | zur Folge»
Folge 58: Gesetze im „Digitalcheck“ und was daraus folgt: Verwaltung digitaltauglich aufstellen
Mit Stephanie Kaiser von der DigitalService GmbH des Bundes | 5. November 2024 | zur Folge»
Folge 57: Dynamische digitale Strategien für den europäischen Sender ARTE
Mit Kemal Görgülü von ARTE GEIE | 15. Oktober 2024 | zur Folge»
Folge 56: Tokenisierung von CO2-Zertifikaten: Blockchain für den Klimaschutz?
Mit Dominik Skauradszun von der Hochschule Fulda | 24. September 2024 | zur Folge»
Folge 55: IT-Riesen und Softwaremonopole: Das Ringen der Hochschulen um digitale Souveränität
Mit Ramin Yahyapour von der Georg-August-Universität Göttingen und der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen | 3. September 2024 | zur Folge»
Folge 54: Infrastrukturen im Weltraum für die Digitalität auf der Erde
Mit Holger Krag vom Europäischen Raumflugkontrollzentrum (ESOC) | 13. August 2024 | zur Folge»
Folge 53: Information und Desinformation – wie steht es um die Netzöffentlichkeit?
Mit Christian Stöcker von der HAW Hamburg | 18. Juni 2024 | zur Folge»
Folge 52: KI und der Wert menschlicher Autorschaft: Der Kampf ums Urheberrecht
Mit Nina George vom European Writers‘ Council | 28. Mai 2024 | zur Folge»
Folge 51: Kreatives Schreiben mit KI
Mit Jenifer Becker von der Universität Hildesheim | 7. Mai 2024 | zur Folge»
Folge 50: Ein „Digitaler Zwilling“ aus Körperdaten? Auf dem Weg in die Gesundheitsvorsorge der Zukunft
Mit Malte Gruber von der Justus-Liebig-Universität Gießen | 16. April 2024 | zur Folge»
Folge 49: Steuerfahndung mit Künstlicher Intelligenz: Panama, Pandora und mehr
Mit Christian Voß von der Forschungsstelle Künstliche Intelligenz (FSKI) am Finanzamt Kassel | 26. März 2024 | zur Folge»
Folge 48: Der AI Act der EU: Wie er zustande kam und wie er KI reguliert
Mit Domenik Wendt von der Frankfurt University of Applied Sciences | 5. März 2024 | zur Folge»
Folge 47: KI und Haftung: Wer steht ein für die Fehler Künstlicher Intelligenz?
Mit Carsten Gerner-Beuerle vom University College London | 13. Februar 2024 | zur Folge»
Folge 46: Arena of IoT: ein Fußballstadion als digitales Reallabor
Mit Oliver Bäcker von EintrachtTech GmbH | 23. Januar 2024 | zur Folge»
Folge 45: Digitale Forensik
Mit Felix Freiling von der Friedrich-Alexander-Universität Erlangen-Nürnberg | 12. Dezember 2023 | zur Folge»
Folge 44: Von Grundsatzdebatte bis Wahlkampf: Digital Kommunizieren in politischen Parteien
Mit Isabelle Borucki von der Philipps-Universität Marburg | 21. November 2023 | zur Folge»
Folge 43: Digitalität und der demokratische Auftrag des öffentlich-rechtlichen Rundfunks
Mit Florian Hager vom Hessischen Rundfunk | 31. Oktober 2023 | zur Folge»
Folge 42: Sensible Daten für die Wissenschaft: Weshalb ein Forschungs­daten­gesetz?
Mit Stefan Bender von der Deutschen Bundesbank | 10. Oktober 2023 | zur Folge»
Folge 41: Modellieren, Simulieren, Optimieren – die Digitalisierung des Energienetzes
Mit Alexander Martin von der Technischen Universität Nürnberg | 19. September 2023 | zur Folge»
Folge 40: Digitalisierte Landwirtschaft – das Beispiel Obstbau
Mit Christine Rösch vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) | 8. August 2023 | zur Folge»
Folge 39: Lehren und Lernen nach der Pandemie: Der schwierige Umbau des digitalen Schulunterrichts
Mit Jan Marco Leimeister von der Universität Kassel | 18. Juli 2023 | zur Folge»
Folge 38: Digitale Kunstwerke bewahren: eine Herausforderung für Museen
Mit Margit Rosen vom ZKM | Zentrum für Kunst und Medien Karlsruhe | 27. Juni 2023 | zur Folge»
Folge 37: Tageszeitungen: Wie verändern sie sich im digitalen Wandel?
Mit Carsten Knop von der Frankfurter Allgemeinen Zeitung | 6. Juni 2023 | zur Folge»
Folge 36: Wie es Computern gelingt, eigenständig mit Sprache umzugehen
Mit Chris Biemann von der Universität Hamburg | 16. Mai 2023 | zur Folge»
Folge 35: Daten­vielfalt hand­hab­bar machen – das Beispiel Bio­di­versi­täts­forschung
Mit Barbara Ebert von der Gesellschaft für Biologische Daten e. V. | 4. April 2023 | zur Folge»
Folge 34: Maschinelles Lernen im Umweltmonitoring
Mit Hanna Meyer von der Universität Münster | 14. März 2023 | zur Folge»
Folge 33: Was können kleine und große Drohnen? Zur Automatisierung von Fluggeräten
Mit Uwe Klingauf von der Technischen Universität Darmstadt | 21. Februar 2023 | zur Folge»
Folge 32: Digitales Kreditscoring: Wie Datenanalysen darüber entscheiden, wem man Geld leiht und wem nicht
Mit Katja Langenbucher von der Goethe-Universität Frankfurt am Main | 31. Januar 2023 | zur Folge»
Folge 31: Biochemie trifft Informatik: Wie man digitale Daten in DNA speichern kann
Mit Robert Grass von der ETH Zürich | 20. Dezember 2022 | zur Folge»
Folge 30: In die eigene finanzielle Zukunft schauen: Digitale Rententransparenz
Mit Andreas Hackethal von der Goethe-Universität Frankfurt a.M. | 29. November 2022 | zur Folge»
Folge 29: Gaming-Kultur für alle: Szenen, Debatten und ein Milliardenmarkt
Mit Rae Grimm von Webedia Gaming GmbH | 8. November 2022 | zur Folge»
Folge 28: Digitale Spielräume in der Musikproduktion
Mit David Waldecker von der Universität Siegen | 18. Oktober 2022 | zur Folge»
Folge 27: Hacker-Attacken und IT-Management: Cyber-Risiken versichern
Mit Florian Salm von der Gothaer Allgemeine Versicherung AG und Ulrich Greveler von der Hochschule Rhein-Waal | 27. September 2022 | zur Folge»
Folge 26: Seltene Rohstoffe und Elektroschrott: Über Materialität und Recyclingprobleme des Digitalen
Mit Mathias Schluep vom World Resources Forum | 6. September 2022 | zur Folge»
Folge 25: Sterben, Trauern und Vermächtnis: Was ändert sich durch Digitalität?
Mit Stephan Neuser vom Bundesverband Deutscher Bestatter e. V. | 16. August 2022 | zur Folge»
Folge 24: Was ist das Darknet und was passiert dort?
Mit Kai Denker von der Technischen Universität Darmstadt | 5. Juli 2022 | zur Folge»
Folge 23: Hochleistungsrechnen zu Zukunftsfragen: Das Deutsche Klimarechenzentrum
Mit Thomas Ludwig vom Deutschen Klimarechenzentrum | 14. Juni 2022 | zur Folge»
Folge 22: Open Source für die öffentliche Verwaltung: das Beispiel Schleswig-Holstein
Mit Marit Hansen, Landesbeauftragte für Datenschutz Schleswig-Holsteins | 24. Mai 2022 | zur Folge»
Folge 21: Von Datenschutz zu Datensouveränität: informationelle Selbstbestimmung in der digitalen Gesellschaft
Mit Steffen Augsberg von der Justus-Liebig-Universität Gießen | 3. Mai 2022 | zur Folge»
Folge 20: Von Cartoons zu Instagram: „Perfekte Bilder“ und das Körperverhältnis von Mädchen
Mit Maya Götz vom Internationalen Zentralinstitut für das Jugend- und Bildungsfernsehen (IZI) des Bayerischen Rundfunks | 12. April 2022 | zur Folge»
Folge 19: Verträge automatisieren? Was sind und was leisten „Smart Contracts“?
Mit Nikolas Guggenberger von der Yale Law School | 22. März 2022 | zur Folge»
Folge 18: KI und Krieg: Verhandeln für eine UN-Konvention gegen tödliche autonome Waffensysteme
Mit Anja Dahlmann vom Institut für Friedensforschung und Sicherheitspolitik an der Universität Hamburg | 1. März 2022 | zur Folge»
Folge 17: Was ist Gaia-X?
Mit Boris Otto von der TU Dortmund und dem Fraunhofer ISST | 8. Februar 2022 | zur Folge»
Folge 16: Cookies, AirTags, Metadaten: Wohin führt das Tracking?
Mit Matthias Hollick von der Technischen Universität Darmstadt | 25. Januar 2022 | zur Folge»
Folge 15: Mit Physik rechnen: Quantencomputer in der Realität
Mit Frank Wilhelm-Mauch von der Universität des Saarlandes | 11. Januar 2022 | zur Folge»
Folge 14: Vermitteln, voranbringen, ermöglichen: Wie macht eine Digitalministerin Politik?
Mit Kristina Sinemus, der Hessischen Ministerin für Digitale Strategie und Entwicklung | 14. Dezember 2021 | zur Folge»
Folge 13: Likes, Bewertungen und smarte Assistenten – Risiken einer digitalen „Verbraucherdemokratie“
Mit Jörn Lamla von der Universität Kassel | 30. November 2021 | zur Folge»
Folge 12: Von der Münze zum Token: Geld, Wert und Währung in der Digitalität
Mit Martin Diehl von der Deutschen Bundesbank | 16. November 2021 | zur Folge»
Folge 11: Smarte Stadtentwicklung – was tun kommunale Unternehmen?
Mit Klaus-Michael Ahrend von der HEAG Holding AG | 2. November 2021 | zur Folge»
Folge 10: Genetische Information im digitalen Zeitalter: Der Streit um das Nagoya-Protokoll
Mit Anna Deplazes Zemp von der Universität Zürich | 19. Oktober 2021 | zur Folge»
Folge 9: Anspruch und Wirklichkeit: Wie steht es um den Datenschutz?
Mit Alexander Roßnagel, dem Hessischen Beauftragten für Datenschutz und Informationsfreiheit | 5. Oktober 2021 | zur Folge»
Folge 8: Predictive Policing und die Folgen: Datenanalyse in der Polizeiarbeit
Mit Simon Egbert von der Universität Bielefeld | 21. September 2021 | zur Folge»
Folge 7: DE-CIX und die Architektur des Internets
Mit Harald A. Summa von eco – Verband der Internetwirtschaft e. V. | 7. September 2021 | zur Folge»
Folge 6: Datenträger, Datendienste, Datenspuren: wissenschaftliche Bibliotheken und Verlage im digitalen Wandel
Mit Katrin Stump von der Universitätsbibliothek Braunschweig | 3. August 2021 | zur Folge»
Folge 5: Datenchirurgie? Intelligente Technik im OP
Mit Stefanie Speidel vom Nationalen Centrum für Tumorerkrankungen in Dresden | 20. Juli 2021 | zur Folge»
Folge 4: KI in der Finanzwelt
Mit Florian Möslein von der Philipps-Universität Marburg | 6. Juli 2021 | zur Folge»
Folge 3: Blockchain nach Bitcoin: Regeln in der Welt der Krypto-Token
Mit Sebastian Omlor von der Philipps-Universität Marburg | 22. Juni 2021 | zur Folge»
Folge 2: Emotet & Co: der Kampf gegen Cyberkriminalität
Mit Linda Bertram von der Zentralstelle zur Bekämpfung der Internetkriminalität | 8. Juni 2021 | zur Folge»
Folge 1: Überwachung messbar machen
Mit Ralf Poscher vom Max-Planck-Institut zur Erforschung von Kriminalität, Sicherheit und Recht | 26. Mai 2021 | zur Folge»
Folge 0: Digitalgespräch - ab dem 26. Mai 2021
Ein Vorgeschmack auf das Digitalgespräch | 24. Mai 2021 | zur Folge»

Alle ZEVEDI-Podcasts

Creative Commons Lizenzvertrag

Kategorien
Akzentfarbe: grün (Heidbrink-Text) Autor: Ludger Heidbrink Uncategorized Verantwortungsblog

Sphären der Unverantwortlichkeit

Sphären der Unverantwortlichkeit
Zum Umgang mit den Verantwortungslücken der Digitalisierung

In komplexen und vernetzten Gesellschaften müssen – neben der Bereitschaft, Verantwortung zu übernehmen – auch Sphären der erlaubten Unverantwortlichkeit geschaffen werden. Akteure können hier modifizierte Zurechnungsverfahren entwickeln, die auf dem begründeten Ausschluss von Verantwortlichkeiten beruhen. Dieser Ausschluss ist notwendig, um auf neuartige digitale Prozesse, die in ihrer Struktur und ihren Konsequenzen noch vielfach unbekannt sind, normativ angemessen reagieren zu können.

Von Ludger Heidbrink | 12.12.2024

Ein Fahrzeug in einer Sphäre
Erzeugt mit Adobe Firefly. Prompt: „Sehr reduzierte Skizze eines autonomen Fahrzeugs in einer großen digitalen Sphäre; Stil: Kubismus; Farben: grün, blau, gelb“

Hochmoderne Gesellschaften haben einen besonderen Verantwortungsbedarf entwickelt. Dabei gehen sie trotz der enormen Komplexität, die neue Technologien kennzeichnet, davon aus, dass sich Handlungen jemandem zurechnen lassen und Schadensfolgen auf Urheber zurückgeführt werden können (Heidbrink 2022, 38ff.). Dies gilt auch für aktuelle Entwicklungen wie den Einsatz digitaler Agenten und KI-Systeme, die für ihre Operationen eine eigenständige moralische und rechtliche Verantwortung tragen sollen. Dieser Beitrag zeigt, dass für die Responsibilisierung digitaler Agenten und KI-Systeme wesentliche Voraussetzungen nicht erfüllt sind und es deshalb sinnvoller ist, auf einen Standpunkt der Nichtverantwortlichkeit umzustellen, von dem aus sich genauer erkennen lässt, wo die Grenzen der Responsibilisierung digitaler Systeme liegen.1

Das besondere Kennzeichen der Digitalisierung liegt weniger darin, dass digitale Maschinen wie Roboter und KI-Systeme eine immer wichtigere Rolle im alltäglichen Leben spielen, als vielmehr in der Veränderung der Zurechenbarkeit von Folgenketten, die mit digitalen Prozessen einhergeht. Die exponentielle Steigerung der Rechenleistung und Datenmengen übersteigt die kognitive Verarbeitungsfähigkeit der Nutzer digitaler Systeme und ihre regulative Kontrolle dieser Systeme. Eine Konsequenz besteht darin, dass die Verantwortung in die digitalen und automatisierten Systeme zurückverlagert wird, die so programmiert werden, dass sie potenzielle Schäden vorhersehen können und in Gefahrensituationen mit entsprechenden Gegenmaßnahmen reagieren.

Günther Anders hat schon in den 1950er Jahren prognostiziert, dass der Mensch in der Lage sein werde, Apparate zu konstruieren, „auf die man die Verantwortung abschieben kann, Orakelmaschinen also, elektronische Gewissens-Automaten“, die „schnurrend die Verantwortung übernehmen, während der Mensch danebensteht und, halb dankbar und halb triumphierend, seine Hände in Unschuld wäscht“ (Anders 1961, 245). Was dabei stattfindet, ist nach Anders die „Verlagerung der Verantwortung in das […] Objekt“, die eine „Ersetzung der ‚responsibility‘ durch einen mechanischen ‚response‘“ (ebd., 246) zur Folge hat.

Die Prognose von Anders ist Realität geworden. Die Frage nach dem Verhältnis von responsibility und response spielt überall dort eine Rolle, wo Roboter und automatische Systeme eigenständig agieren, ohne autonome Urheber ihrer Aktivitäten zu sein. Artifizielle Agenten sind keine handlungsfähigen Akteure, sondern intelligente Apparate, die aus Prozessoren, Sensoren und künstlichen Gliedern bestehen. Ihnen sind Operationen möglich, die zwar autonom wirken, aber nicht autonom sind. Pflegeroboter, Kampfdrohnen oder automatisierte Fahrzeuge werden in der Regel durch Programmierer und Nutzer gesteuert, sie agieren „within the control of a tool’s designers and users“ (Wallach/Allen 2009, 26). Bislang gibt es keine Formen künstlicher Intelligenz, die auf nicht-determinierten Algorithmen beruhen und zu Handlungen in der Lage sind, die tatsächlich autonom sind. Autonom und lernfähig sind KI-Systeme höchstens in dem Sinn, dass sie algorithmische Strukturen variieren und innerhalb vorgegebener Programme neue Verknüpfungen herstellen.

Die Selbstständigkeit intelligenter Roboter und Automaten bewegt sich somit in beschränkten Bahnen, die zwar eine hohe Komplexität aufweisen, aber nicht die Bedingungen erfüllen, unter denen Akteuren personale und moralische Autonomie zugeschrieben werden kann. Hochentwickelte KI-Systeme lassen sich allenfalls als operationale Akteure beschreiben, die über eine rationale und agentiale Autonomie verfügen. Sie agieren nach vorgegebenen Codes, ohne eine reflexive Einsicht in die Gründe ihres Agierens entwickeln zu können und ihre Operationen anhand normativer Kriterien bewerten zu können, die nicht durch die algorithmischen Strukturen vorgegeben sind.

Gleichwohl werden KI-Systeme in zunehmenden Maß dort eingesetzt, wo sonst Menschen handeln, sei es mit dem Ziel der Sicherheit, der Effizienz oder des Supports. Damit müssen Fragen der moralischen Zurechnung und rechtlichen Haftung anders als bisher gestellt werden. Was geschieht, vom Daten- und Urheberschutz abgesehen, wenn KI-Systeme zu fehlerhaften Operationen führen, falsche Diagnosen produzieren und Schäden für Dritte erzeugen? Wie soll damit umgegangen werden, dass intelligente Roboter und Computer scheinbar autonom entscheiden, in Wirklichkeit aber doch nur – freilich: im Detail unüberblickbar – Programme eines Herstellers ausführen? Wo verläuft, mit Anders gesprochen, die Grenze zwischen der responsibility von Akteuren und dem response von digitalen Systemen?

Die Verantwortlichkeit artifizieller Agenten hängt im Kern davon ab, ob sich ihnen ähnlich wie natürlichen Personen eine eigenständige Handlungsfähigkeit zuschreiben lässt. Nach Luciano Floridi und Jeff W. Sanders (2004, 357f.) gibt es vor allem drei Kriterien, durch die artifizielle Agenten gekennzeichnet sind: Interaktivität, mit der Akteure untereinander und auf ihre Umwelt reagieren und sich wechselseitig beeinflussen; Autonomie, durch die Akteure ihren Zustand unabhängig voneinander und von ihrer Umwelt verändern können; Adaptabilität, durch die Akteure sich aneinander und an ihre Umwelt anpassen und Regeln für Zustandsänderungen entwickeln.

Von diesen Eigenschaften ist die Autonomie die Kategorie, die üblicherweise bei natürlichen Personen neben Freiheit als Basisbedingung für die Zuschreibung von Verantwortung zugrunde gelegt wird. Personale Akteure gelten in der Regel dann als verantwortungsfähig, wenn sie frei und selbstbestimmt agieren können. Nach Floridi und Sanders besitzen auch artifizielle Agenten eine spezifische Art der Autonomie, die sich allerdings von der Autonomie natürlicher Personen unterscheidet. Um die Autonomie artifizieller Agenten von der Autonomie natürlicher Personen abgrenzen zu können, greife ich auf die Klassifizierung von vier Formen der Autonomie zurück, wie sie Stephen Darwall (2006, 265) getroffen hat. Darwall unterscheidet zwischen personaler, moralischer, rationaler und Handlungsautonomie. Von diesen vier Formen bildet die Handlungsautonomie (agent autonomy) die schwächste Form der Autonomie, da sie keine rationalen, moralischen oder personalen Gründe der Selbstbestimmung und Selbststeuerung voraussetzt. Wenn man nun unter Handlungsautonomie die bloße „Selbstursprünglichkeit“ (Misselhorn 2018, 76) von Akteuren versteht, die in einem eingeschränkten Sinn operative Prozesse durchführen können, ist es möglich, artifizielle Agenten als quasi-autonome Akteure zu klassifizieren. Artifizielle Agenten verfügen zwar über keine Handlungsgründe und führen keine intentional eigenständigen Handlungen durch, sie operieren aber auf der Grundlage von algorithmischen Programmen, die ihren Operationen eine funktionale Eigenständigkeit äquivalent zu personalen Akteuren verleiht: Roboter und künstliche Systeme lassen sich in ihren Operationen so betrachten, als ob sie die gleichen Eigenschaften wie Bewusstsein, mentale Zustände und Intentionen besitzen würden, die natürliche Agenten kennzeichnen.

Die Autonomie artifizieller Agenten ist dadurch gekennzeichnet, dass sie sich strukturell analog zur Autonomie natürlicher Akteure verhält. Auch wenn artifizielle Agenten nicht autonom sind, weisen sie in ihrem Verhalten die gleichen Handlungsmuster wie natürliche Akteure auf. Aus dieser Quasi-Autonomie lassen sich Kriterien für die Moralität und Zurechnungsfähigkeit von künstlichen Systemen ableiten. Artifizielle Agenten in der Gestalt von Robotern und autonomen Steuerungssystemen können nach einer Kategorisierung von James Moor in die Klasse der „explicit ethical agents“ (Moor 2006, 19) eingeordnet werden, die nicht nur in Übereinstimmung mit moralischen Regeln handeln, sondern auch in Analogie zu moralischen Kriterien agieren. Explizite ethische Agenten – etwa autonome Fahrzeuge – sind aufgrund ihrer Programmierung in der Lage, so zu reagieren, dass ihre Reaktionen als moralische Entscheidungen interpretiert werden können, denen ein hinreichendes Verständnis der Entscheidungssituation zugrunde liegt.

Just as a computer system can represent emotions without having emotions, computer systems may be capable of functioning as if they understand the meaning of symbols without actually having what one would consider to be human understanding (Wallach/Allen 2009, 69).

Roboter und künstliche Systeme bilden insoweit analoge moralische Agenten, insofern sie „Maschinen mit inneren Zuständen“ gleichen, „die moralischen Meinungen und Pro-Einstellungen2 funktional hinreichend ähnlich sind, um als moralische Gründe gelten zu können“ (Misselhorn 2018, 88). Unter diesen Voraussetzungen ist es möglich, artifiziellen Agenten einen normativ schwachen, aber relevanten Status moralischer Handlungsfähigkeit zuzuschreiben, der die Frage nach der spezifischen Verantwortlichkeit von KI-Systemen etwas genauer zu beantworten erlaubt.

Es ist deutlich geworden, dass artifizielle Agenten auf der Grundlage einer analogen und schwachen Moralität operieren. Daraus ergibt sich aber nicht zwingender Weise, dass diese Agenten auch verantwortlich für ihre Operationen sind. Moralisches Handeln schließt nicht notwendigerweise verantwortliches Handeln ein: „x is capable of moral action even if x cannot be (or is not yet) a morally responsible agent“ (Floridi/Sanders 2004, 368). Zwischen Moralität und Verantwortlichkeit besteht insofern ein wichtiger Unterschied, als moralisch relevante Operationen keinen verantwortlichen Akteur voraussetzen müssen, sondern es ausreicht, dass die Operationen selbst ethisch oder rechtlich evaluiert werden können. Vor dem Hintergrund der funktionalen Autonomie agieren Roboter und künstliche Systeme so, dass ihnen ihre Operationen moralisch zugeschrieben werden können, ohne dass sie dafür (schon) eine hinreichende Verantwortung tragen: „there is no responsibility but only moral accountability and the capacity for moral action“ (Floridi/Sanders 2004, 376).

Die Unterscheidung von moral accountability und responsibility erlaubt es, Roboter und künstliche Systeme als artifizielle moralische Agenten zu beschreiben, die ethisch und rechtlich zurechnungsfähig sind, ohne verantwortlich sein zu müssen. Die Konzeption einer morality without responsibility ist heuristisch sinnvoll, um die spezifische Wirkungsfähigkeit artifizieller Agenten normativ erfassen zu können. Roboter und künstliche Systeme operieren in der Regel auf der Grundlage lernender Algorithmen und adaptiver Programme, durch die sie eigenständig mit ihrer Umwelt interagieren, ohne dass sich die Folgen handlungskausal auf sie zurückführen lassen. Die maßgeblichen Entscheidungen werden vielmehr von den Herstellern und Anbietern getroffen, die deshalb die rechtliche und moralische Hauptverantwortung tragen sollen, wie es jüngst auch im AI Act der EU festgelegt wurde.3

Je höher allerdings der Grad der funktionalen Autonomie artifizieller Agenten ist, umso schwieriger ist es genau genommen, die Hersteller und Anbieter für die Operationen von KI-Systemen verantwortlich zu machen. Künstliche Agenten können eigenständig handeln, ohne dass sie die kausale und moralische Verantwortung für ihre Operationen tragen. In Fällen, in denen „the machine itself“ operiert, entsteht ein „responsibility gap“ zwischen Handlungsursachen und Handlungsfolgen, der die Frage aufwirft, wie mit der begrenzten Handlungskontrolle der Hersteller über die digitalen Systeme auf normativer Ebene umgegangen werden soll (Matthias 2004, 177, 181f.).

In Fällen der operativen Autonomie und fehlenden Kontrolle von KI-Systemen, die überall dort auftreten können, wo Daten durch lernende Algorithmen verarbeitet und in neuronalen Netzwerken funktional selbstständige Entscheidungen generiert werden, geraten herkömmliche Verantwortungsmodelle an ihre Grenzen. Der responsibility gap lässt sich nicht einfach dadurch wieder schließen, dass den Herstellern von KI-Systemen primäre Verantwortlichkeiten zugeschrieben werden. Erforderlich sind vielmehr Konzepte der geteilten Verantwortung, die der spezifischen Netzwerkstruktur digitaler Agentensysteme Rechnung tragen.

Eine mögliche Grundlage hierfür bildet das Konzept der „distributed moral responsibility“ (DMR) von Luciano Floridi, das netzwerktheoretische Elemente mit moralischen und juristischen Konzepten verbindet. Im Unterschied zu herkömmlichen Gruppenakteuren operieren Agenten in Netzwerken weder kausal noch intentional, sodass ihnen ihre Handlungsfolgen nicht direkt zugerechnet werden können. Gleichwohl erzeugen Mehrebenen-Netzwerke Wirkungen und Effekte, die ohne ihre Operationen nicht zustande gekommen wären, wie sich dies exemplarisch an automatischen Steuerungsanlagen oder autonomen Fahrsystemen beobachten lässt. Netzwerkoperationen generieren „distributed moral actions“ (DMA), die normativ relevant sind, sich aber nicht auf intentionale Urheber oder kausale Zustände zurückverfolgen lassen (Floridi 2016, 6). Multi-Layered Neural Networks sind vielmehr dadurch gekennzeichnet, dass Input-Aktionen über ein Netz an Knotenpunkten laufen, die als ungesteuerter („gesellschaftlicher“) Verteiler Output-Effekte erzeugen, welche als DMR-Handlungen wirksam werden.

Bei solchen Netzwerk-Folgen geht es deshalb nicht um die normative Bewertung der Handlungsträger, sondern der Handlungsketten, die im Fall von Schädigungen verantwortungsrelevant sind:

All that matters is that change in the system caused by the DMA is good or evil and, if it is evil, that one can seek to rectify or reduce it by treating the whole network as accountable for it, and hence back propagate responsibility to all its nodes/agents to improve the outcome (Floridi 2016, 7).

Mit Hilfe des DMR-Modells lässt sich die Verantwortung dem Netzwerk als Ganzes zuschreiben, um von dort aus die Knotenpunkte und Agenten einzubeziehen. Je nach Art der Fehler und Schäden greifen unterschiedliche Maßnahmen. Sie können in der Gefährdungshaftung von Produzenten, der Verbesserung der ethischen Infrastrukturen oder in operativen Lernprozessen bestehen, durch die Risiken von Fehlfunktionen reduziert werden. Das DMR-Modell kann hilfreich sein, um KI-Systeme verantwortungsfähig zu machen, indem zuerst der digitale Netzwerkverbund in die Verantwortung genommen wird, um im nächsten Schritt die Elemente des Netzwerks einzubeziehen.

Ein ähnlicher Vorschlag besteht darin, die Verantwortung für Schäden artifizieller Agenten durch einen kollektiven Versicherungs- und Haftungspool aufzufangen. Auch wenn Roboter und künstliche Systeme keinen Rechtsstatus wie natürliche Personen besitzen, lässt sich ihnen ein digitaler Personenstatus zuschreiben. Ähnlich wie sich Organisationen und Unternehmen als „legal persons“ betrachten lassen, können artifizielle Agenten nach einem Vorschlag von Susanne Beck als „electronic persons“ behandelt werden, die spezifische Rechte und Pflichten besitzen (Beck 2016, 479). Dieser Vorschlag würde es ermöglichen, rechtliche Verantwortlichkeiten auf artifizielle Agenten zu bündeln und sie beispielsweise über einen kollektiv eingerichteten Kapitalstock abzusichern, der durch eine „electronic person Ltd.“ verwaltet wird:

A certain financial basis would be affixed to autonomous machines, depending on the area of application, hazard, abilities, degree of autonomy etc. This sum which would have to be raised by the producers and users alike, would be called the capital stock of the robot and collected before the machine was put into public use (Beck 2016, 479).

In eine ähnliche Richtung argumentiert Gunther Teubner. Um der funktionalen Autonomie digitaler Agenten zu entsprechen, muss von einer partiellen Rechtssubjektivität digitaler Agenten ausgegangen werden (Teubner 2018, 177). Die partielle Rechtssubjektivität erlaubt es, Institute der Gehilfen- und Assistenzhaftung in Anspruch zu nehmen, wenn KI-Systeme teilautonom Schäden verursachen, etwa in Fällen der Fehlfunktion von Service- oder Pflegerobotern. In solchen Fällen haftet der Betreiber mit, da er sich das Versagen einer verschuldensunfähigen Maschine zurechnen lassen muss.

Die digitale Assistenzhaftung für rechtswidrige Entscheidungen digitaler Agenten stößt allerdings dort an Grenzen, wo Multi-Agenten-Netzwerke agieren, etwa bei autonomen Fahrsystemen oder digitalen Plattformen. In diesen Fällen geht es um das körperschaftsähnliche Gesamthandeln des Netzwerkes, das in seiner hybriden Verfassung zum Adressaten der Rechtsnormierung gemacht werden muss. Wenn Netzwerke zu Zurechnungsadressaten gemacht werden, also nicht mehr Handlungsträger, sondern Handlungsketten normativ adressiert werden, könnte es sinnvoll sein, ähnlich wie im Fall der elektronischen Personen-GmbH einen „Risiko-Pool“ (Teubner 2018, 202) einzurichten, der die Netzwerk-Akteure in eine Art monetäre Kollektivhaftung nimmt, unabhängig davon, ob eine schadenskausale Eigenverantwortung vorliegt, die bei digitalen Agenten nicht mehr ohne weiteres festzustellen ist.

Das Kapitalstock- und Versicherungsmodell haben den ökonomischen und gesellschaftlichen Vorteil, dass Innovationen nicht vorschnell durch staatliche Regulierungen des Marktes unterbunden werden, sondern die Marktakteure selbst Regeln etablieren, die in direkter Auseinandersetzung und auf praktischer Erfahrungsgrundlage mit KI-Systemen entwickelt werden. Anstatt wie der AI Act der EU und die Datenethikkommission der Bundesregierung einen „risikoadaptierten Regulierungsansatz algorithmischer Systeme“ zu verfolgen, der von einer mehrstufigen Kritikalität mit abgestuftem Schädigungspotential ausgeht (Datenethikkommission 2019, 24), dürfte es praktikabler sein, KI-Systeme mit vorläufigen Zulassungen zu versehen und unter Realbedingungen zu beobachten, welche Kritikalität besteht und wie sich Schadensfolgen durch die Multi-Agenten-Verbünde selbst kompensieren lassen.

Das Kapitalstock- und Versicherungsmodell für digitale Multi-Agenten-Verbünde stellt eine Reaktion auf die Schwierigkeit dar, weder artifizielle Akteure und KI-Systeme noch Hersteller und Anbieter direkt für Schadensfolgen verantwortlich machen zu können. Die Umstellung auf partielle Nichtverantwortlichkeit bildet eine „adaptive Reaktion“ (Staab 2022, 9) auf das Problem, den Verantwortungsbedarf moderner Gesellschaften adäquat zu decken. Der Ausgang von legitimen Bereichen der Nichtverantwortlichkeit bietet die Chance, Freiräume der Gestaltung zurückzugewinnen, die im Korsett moralischer und rechtlicher Regulatorik verloren zu gehen drohen (Augsberg et al. 2020).

Wenn vom point of irresponsibility aus gehandelt wird, öffnen sich neue Möglichkeitsbereiche, in denen Akteure erproben können, welche Normen und Konventionen geeignet sind, den gesellschaftlichen Verkehr zu organisieren, ohne ihn über Gebühr einzuschränken oder die Kontrolle über ihn zu verlieren.

  1. Dieser Beitrag geht zurück auf Ludger Heidbrink: Nichtverantwortlichkeit. Zur Deresponsibilisierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2024, sowie auf Ders. (2020): Artifizielle Agenten, hybride Netzwerke und digitale Verantwortungsteilung auf Märkten, in: Detlev Aufderheide/Martin Dabrowski (Hg.): Digitalisierung und künstliche Intelligenz. Wirtschaftsethische und moralökonomische Perspektiven, Berlin: Duncker & Humblot 2020, S. 67–76. ↩︎
  2. Pro-Einstellungen sind in der Regel prosoziale und ethische Einstellungen. ↩︎
  3. Der EU AI Act enthält konkrete Vorschriften zu Pflichten und Haftung von Anbietern insbesondere hochriskanter KI-Systeme, die vom Risikomanagement über Datengovernance, die Meldung von Fehlfunktionen, Transparenzpflichten bis zur Konformitätserklärung und Bußgeldern reichen. Allerdings bleibt völlig unklar, wie die Anbieterverantwortung zum Tragen kommen soll, wenn KI-Systeme Schäden verursachen, die den Bereich erwartbarer Sorgfalts-, Transparenz- und Governancepflichten übersteigen, ohne dass dies weder Anbieter noch KI-Systemen zugerechnet werden kann: https://artificialintelligenceact.eu/de/das-gesetz/ [25.10.2024]. ↩︎

Anders, Günther (1961): Die Antiquiertheit des Menschen. Über die Seele im Zeitalter der zweiten industriellen Revolution, München: C.H. Beck.

Augsberg, Ino/Augsberg Steffen/Heidbrink, Ludger (2020): Einleitung, in: dies. (Hg.), Recht auf Nicht-Recht. Rechtliche Reaktionen auf die Juridifizierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2020, S. 7–23.

Beck, Susanne (2016): The Problem of Ascribing Legal Responsibility in the Case of Robotics. In: AI & Soc, 4, S. 473–481, DOI: 10.1007/s00146-015-0624-.

Darwall, Stephen (2006): The Value of Autonomy and Autonomy of the Will. In: Ethics, 2, S. 263–284. https://doi.org/10.1086/498461.

Datenethikkommission (2019): Gutachten der Datenethikkommission der Bundesregierung 2019. https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission-kurzfassung.pdf;jsessionid=2D3F771129FE36B3E65F587217FEC3FF.2_cid373?__blob=publicationFile&v=4 [25.10.2024].

Floridi, Luciano/Sanders, Jeff W. (2004): On the Morality of Artificial Agents. In: Minds and Machines, 3, S. 349–379. https://doi.org/10.1023/B:MIND.0000035461.63578.9d.

Floridi, Luciano (2016): Faultless responsibility: on the nature and allocation of moral responsibility for distributed moral actions. In: Phil. Trans. R. Soc. A 374, S. 1–13. https://doi.org/10.1098/rsta.2016.0112.

Heidbrink, Ludger (2022): Kritik der Verantwortung. Zu den Grenzen verantwortlichen Handelns in komplexen Kontexten, Neuauflage, Weilerswist: Velbrück Wissenschaft.

Matthias, Andreas (2004): The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. In: Ethics and Information Technology 3, S. 175–183. https://doi.org/10.1007/s10676-004-3422-1.

Misselhorn, Catrin (2018): Maschinenethik: Maschinen als moralische Akteure, 3. Aufl., Stuttgart: Reclam.

Moor, James H. (2006): The Nature, Importance, and Difficulty of Machine Ethics. In: IEEE Intelligent Systems 4, S. 18–21. https://doi.org/10.1109/MIS.2006.80.

Staab, Philipp (2022): Anpassung. Leitmotiv der nächsten Gesellschaft, Berlin: Suhrkamp.

Teubner, Gunther (2018): Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten, Tübingen: Mohr Siebeck. Wallach,

Wendell/ Allen, Colin (2009): Moral Machines. Teaching Robots Right from Wrong, Oxford: Oxford University Press.

Heidbrink, Ludger (2024): Sphären der Unverantwortlichkeit. Zum Umgang mit den Verantwortungslücken der Digitalisierung. In: Verantwortungsblog. https://zevedi.de/sphaeren-der-unverantwortlichkeit/[12.12.2024]. https://doi.org/10.60805/dh0m-1k66.

Kategorien
Uncategorized

Digitalgelddickicht – Staffel 1: Digitaler Euro

Die Staffel 1 des Digitalgelddickichts nähert sich dem Thema Digitaler Euro aus möglichst vielen Richtungen, erklärt, versucht zu verstehen, fragt nach. Mithilfe von Gesprächspartner:innen aus der Wissenschaft, Vertreter:innen von Geschäftsbanken und EZB, der Zivilgesellschaft und aus dem EU-Parlament beleuchtet es in insgesamt 10 Folgen möglichst viele Aspekte und nimmt verschiedene Perspektiven ein.

Ein Angebot für all jene, die sich mit den Chancen und Problemen eines digitalen Euro, der Kritik an und Hoffnungen für ein zukünftiges digitalen Zentralbankgeld eingehender oder stichprobenartig befassen wollen.

1.1. Digitaler Euro – unser zweites Bargeld?

Digitalgelddickicht Staffel Digitaler Euro – Folge 1 | 27. Juli 2023

1.2. Digitaler Euro – „CBDC“ und das Bezahlen im Netz?

Digitalgelddickicht Staffel Digitaler Euro – Folge 2 | 27. Juli 2023

1.3. Der digitale Euro und der Kryptoboom

Digitalgelddickicht Staffel Digitaler Euro – Folge 3 | 25. September 2023

1.4. Der digitale Euro – Wie der Stablecoin eines Datenkonzerns staatliche Währungen herausfordern kann

Digitalgelddickicht Staffel Digitaler Euro – Folge 4 | 7. Dezember 2023

1.5. Der digitale Euro – Geschäftsbanken in Gefahr?

Digitalgelddickicht Staffel Digitaler Euro – Folge 5 | 21. Dezember 2023

1.6. Der digitale Euro und der schwierige Auftrag einer europäischen Zahlungsinfrastruktur

Digitalgelddickicht Staffel Digitaler Euro – Folge 6 | 12. Februar 2024

1.7. Der digitale Euro – Im Maschinenraum der EU

Digitalgelddickicht Staffel Digitaler Euro – Folge 7 | 5. April 2024

1.8. Der digitale Euro und die Europäische Zentralbank

Digitalgelddickicht Staffel Digitaler Euro – Folge 8 | 29. April 2024

1.9. Der digitale Euro und CBDCs weltweit: Bahamas und Nigeria

Digitalgelddickicht Staffel Digitaler Euro – Folge 9 | 5. August 2024

1.10. Der digitale Euro und die CBDC-Konkurrenz in den USA, Russland und China

Digitalgelddickicht Staffel Digitaler Euro – Folge 10 | 12. September 2024

Weiteres zum Thema im Dossier Digitaler Euro des eFin-Blogs

Alle Folgen des Digitalgelddickichts

Alle ZEVEDI-Podcasts