Kategorien
Akzentfarbe: blau Autor: Friederike Rohde Uncategorized Verantwortungsblog

Daten- und ressourcenhungrig: Gibt es eine nachhaltige KI?

Daten- und ressourcenhungrig:
Gibt es eine nachhaltige KI?

Mittlerweile gibt es kaum einen Bereich, in dem nicht davon gesprochen wird, dass durch die Nutzung von KI Effizienzsteigerung oder Optimierung möglich sei: im Finanzsektor, im Onlinehandel, in der Industrie, in der Medizin oder im Bildungsbereich. Die Nutzung von Diensten, die auf großen Sprachmodellen (Large Language Models oder kurz LLMs) beruhen, ist rasant angestiegen und viele Millionen Menschen nutzen täglich ChatGPT oder andere KI-Technologien. Gleichzeitig wird immer deutlicher, dass diese Systeme wahrscheinlich nicht nur zur Bewältigung einiger komplexer Probleme beitragen werden, sondern auch eine ganze Reihe neuer Probleme schaffen, die es zu bewältigen gilt.

Von Friederike Rohde | 17.01.2025

Bild eines digitalen Fußabdrucks aus digitalen Symbolen
Erstellt mit Adobe Firefly: Prompt: „create a cubistic image from a vague digital footprint out of digital symbols“

Zu diesen Problemen gehört die Diskriminierung durch Voreingenommenheit und Stereotypen, die Konzentration von Marktmacht und die Herausbildung von Infrastrukturmonopolen, vor allem aber auch die Auswirkungen der Systeme auf die Umwelt, wie erhebliche CO2-Emissionen und der hohe Wasserverbrauch der digitalen Infrastruktur, die für den Betrieb der Systeme erforderlich ist. Die Nachhaltigkeitsfolgen von KI rücken immer mehr in den Blick und nimmt man die Forderungen nach einer umfassenden Nachhaltigkeitsperspektive (Rohde et al. 2024) ernst, dann zeigt sich, dass wir von einer „nachhaltigen KI“ noch weit entfernt sind.

Fortschritt wird derzeit an der Entwicklung von immer größeren Modellen festgemacht. Die ersten „Durchbrüche“ für die umfassende Nutzung von künstlichen neuronalen Netzen wurden durch die sogenannten Transformer-Modelle erzielt. Das sind Modelle, die einen Aufmerksamkeitsmechanismus beinhalten, der die menschliche Aufmerksamkeit nachahmen soll, und Text in numerische Darstellungen, sogenannte Token, und anschließend in Vektoren umwandeln. Wird dieses Transformer-Modell mit einer großen Menge von Daten trainiert, kann es beispielsweise für Übersetzungen eingesetzt werden. Mittlerweile werden immer mehr sogenannte Diffusions-Modelle entwickelt, die Daten generieren können, die denen ähneln, mit denen sie trainiert wurden. Diese Systeme werden umgangssprachlich auch als „generative KI“ bezeichnet. 

Die Größe dieser Modelle ist rasant angestiegen. Während erste Transformer-Modelle um die 340 Millionen Parameter (dies sind die Werte oder Variablen des Modells) beinhalten, kommen aktuelle LLMs wie PaLM (Google) auf 540 Milliarden Parameter. Mit der Größe der Modelle steigt auch die erforderliche Rechenkapazität, die wiederum jedoch mit vielfältigen Auswirkungen für Menschen und Umwelt verbunden ist. Aktuelle Studien zeigen, dass der Carbon Footprint des Trainings großer Modelle wie GPT3, bei 552 Tonnen CO2-Äquivalenten liegt (Luccioni et al. 2023). 

Die Nachhaltigkeitsbilanz von KI wird auch getrübt durch den Abbau von Rohstoffen für die Hardware, also die GPUs (Graphic Processing Units), die mit diesem Abbau oft einhergehenden Menschenrechtsverletzungen oder die Konflikte um die Wassernutzung durch die Rechenzentren, die in Regionen mit Wasserknappheit wie Chile oder Uruguay zunehmend auftreten. Ein Forschungsteam hat den Wasserfußabdruck beim Betrieb von Rechenzentren, die für das Training großer Sprachmodelle genutzt werden, auf 700.000 Liter Trinkwasser beziffert (Li et al. 2023). Jüngst haben diese Forscher darauf hingewiesen, dass der Verbrauch sogar noch viermal höher ist als in der Studie errechnet (Sellman 2024). 

Die Frage, ob die enorme Größe der Sprachmodelle im Verhältnis zum daraus hervorgehenden Nutzen überhaupt notwendig ist, spielt meist nicht wirklich eine Rolle. Die vorherrschende Erzählung, KI sei neutral, autonom oder Werkzeug zur Demokratisierung, muss hinterfragt werden (Rehak 2023). Auch die Vision, über die Möglichkeiten des Technologieeinsatzes einen Beitrag zur Reduktion des Umweltverbrauches oder der Klimakrise zu leisten, gehört auf den Prüfstand. Erstens handelt es sich oftmals um Effizienzsteigerungen, die schnell durch höhere Produktivität aufgefressen werden. Denn die Rechnung wird meist ohne das Wirtschaftswachstum gemacht. So kommt beispielsweise eine aktuelle Studie von PwC und Microsoft zu dem Schluss, dass mittels KI-Technologien zwischen 1,5 und 4 % CO2 eingespart werden können, gleichzeitig wird aber ein Wirtschaftswachstum von 4 % durch den Einsatz von KI prognostiziert (Joppa/Herwejer 2024). Die relative Einsparung wird also durch das größere Wirtschaftsvolumen eingeholt, so dass eine absolute Reduktion der Emissionen fraglich ist. Zweitens zielt die KI häufig darauf ab, eine bestehende Vorgehensweise zu optimieren. Beispielsweise wird in der Landwirtschaft KI eingesetzt, um den Pestizideinsatz zu reduzieren. Aber die grundsätzliche Frage, wie wir zu einer alternativen und ökologisch verträglichen Form der Landwirtschaft kommen, die gar keinen Pestizideinsatz mehr notwendig macht, kann uns diese Technologie nicht beantworten. 

Fortschritt im Bereich der KI könnte prinzipiell auch etwas anderes bedeuten – zum Beispiel, dass spezialisierte Modelle für Einsatzzwecke entwickelt werden, für die sie einen wichtigen Mehrwert bieten. Ihre Komplexität wäre dann tendenziell begrenzter, beziehungsweise würde ihre Größe ins Verhältnis zu anderen Zielen gesetzt werden.

Neben der Nachhaltigkeitsfrage stellt sich auch immer vernehmbarer die Gerechtigkeitsfrage: Vom Abbau der Rohstoffe, über den Energie- und Wasserhunger der Datenzentren bis zur Deponierung des Elektroschrottes – die materiellen Voraussetzungen und Auswirkungen, für die mit vielen Versprechungen verbundene KI-Technologie, sind global ungleich verteilt. Während die Profiteure der Technologie vor allem Unternehmen oder Gemeinschaften im globalen Norden sind, treffen viele der ökologischen und sozialen Folgen vor allem den globalen Süden. In Indien ringen beispielsweise lokale NGOs mit Datencenterbetreibern um die Nutzung von Trinkwasser und gleichzeitig werden die Daten für das Training der LLMs in Kenia und Nigeria gelabelt, weshalb beispielsweise das Wort „delve“ viel häufiger in KI-generierten Texten vorkommt als im angloamerikanischen Sprachgebrauch üblich. Globale Gerechtigkeitsfragen spielen also zunehmend eine Rolle und werden noch sehr viel gravierender werden, je stärker der Einsatz dieser Technologie zunimmt. 

Darüber hinaus gibt es eine ganze Reihe von Zielkonflikten, die aus einer umfassenden Perspektive zutage treten. Beispielsweise ist eine Verlagerung von lokalen Rechenzentren hin zu Cloud-Anbietern aus einer ökologischen Perspektive sinnvoll, um Ressourcen zu bündeln. Sie fördert aber gleichzeitig eine Konzentration im Cloud-Markt und ist daher ökonomisch weniger nachhaltig. Auch ist zu beobachten, dass Rechenzentrumsbetreiber aus Energieeffizienzgründen auf die weniger energieintensive Wasserkühlung, statt auf Luftkühlung setzen, was aber wiederum den Wasserverbrauch erhöht. Wenn wir auf ökonomischer Ebene eine größere Marktvielfalt möchten und den Zugang zu Modellen, beispielsweise durch Open Source, für kleinere Unternehmen und Akteure ermöglichen wollen, fördert diese größere Zugänglichkeit wiederum die Nutzungsintensität, was die negativen ökologischen Folgen verstärkt. Und schließlich ist ein sehr realistisches Szenario auch, dass wir KI-Modelle mit einem geringen ökologischen Fußabdruck entwickeln, die aber für Zwecke eingesetzt werden, die Nachhaltigkeitszielen entgegenstehen, beispielsweise die Erschließung neuer Ölfelder oder personalisierte Werbung, die den Konsum ankurbelt. 

Wenn komplexe und immer größere KI-Systeme in immer mehr Bereichen eingesetzt werden, ist es wichtig, die Nachhaltigkeitswirkungen entlang des gesamten Lebenszyklus zu betrachten. Das bedeutet sowohl die Bereitstellung und Aufbereitung der Daten, die Modellentwicklung, das Training, die Modellimplementierung, die Modellnutzung und Entscheidungsfindung zu berücksichtigen. Darüber hinaus ist die organisatorische Einbettung von großer Bedeutung, wenn es darum geht, KI-Systeme mit Verantwortung für die Menschen und den Planeten zu gestalten. Wenn wir wirklich eine umfassende Nachhaltigkeitsbetrachtung vornehmen wollen (Rohde et al. 2024), geht es darum, Auswirkungen auf sozialer Ebene, wie Diskriminierung, Verletzung von Persönlichkeitsrechten oder kulturelle Dominanz zu reduzieren, also auch darum, Marktmacht und Monopole zu hinterfragen und die ökologischen Auswirkungen zu betrachten. Wir müssen uns damit befassen, wo die Ressourcen herkommen und in welchen Regionen die Rechenzentren stehen sollen, ohne die die Modelle und Anwendungen nicht funktionieren. Es geht also auch darum, wie wir digitale Infrastrukturen gestalten und wie wir sie in Anspruch nehmen (Robbins & van Wynsberghe 2022).

Denn zur Beantwortung der Frage, ob KI-Systeme positive oder negative Wirkungen im Hinblick auf die Ziele für nachhaltige Entwicklung entfalten, kann nicht allein darauf geschaut werden, in welchem Sektor KI-Systeme eingesetzt werden und ob sich daraus möglicherweise positive Beiträge für einzelne Aspekte nachhaltiger Entwicklung (z.B. Klimaschutz oder Armutsbekämpfung) ableiten lassen. Diese verengte Perspektive greift zu kurz. Dies kann nur durch eine umfassende Perspektive auf KI erreicht werden, welche die sozialen, ökologischen und ökonomischen Auswirkungen entlang des Lebenszyklus‘ aller KI-Systeme adressiert. Hinter dem Anspruch eine nachhaltige Technologie zu entwickeln, welche die vielfältigen Wechselwirkungen zwischen sozialen, ökologischen und ökonomischen Auswirkungen berücksichtigt, steht in Anbetracht der derzeitigen Entwicklungen daher ein großes Fragezeichen.

Joppa, Lucas & Herwejer, Celine: (2024): How AI can enable a Sustainable Future, https://www.pwc.de/de/nachhaltigkeit/how-ai-can-enable-a-sustainable-future.pdf [14.11.2024].

Li, Pengfei, Yang, Jianyi, Islam, Mohammad A. & Ren, Shaolei: (2023): Li, P., Yang, J., Islam, M. A., & Ren, S. (2023): Making AI Less „Thirsty“: Uncovering and Addressing the Secret Water Footprint of AI Models. In:https://doi.org/10.48550/arXiv.2304.03271 [21.11.2024].

Luccioni, Alexandra Sascha, Viguier, Silvain & Ligozat, Anne-Laure  (2023). Estimating the carbon footprint of bloom, a 176b parameter language model. Journal of Machine Learning Research24(253), 1-15.

Rehak, Rainer (2023): Zwischen Macht und Mythos: Eine kritische Einordnung aktueller KI-Narrative. In: Soziopolis: Gesellschaft beobachtenhttps://www.soziopolis.de/zwischen-macht-und-mythos.html[14.11.2024].

Luccioni, Alexandra Sascha , Jernite, Yacine & Strubell, Emma (2024): Power Hungry Processing: Watts Driving the Cost of AI Deployment? In: Association for Computing Machinery (Hg.): FAccT ‘24: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery: New York, S. 85-99.

Mark Sellman (2024): ‚Thirsty‘ ChatGPT uses four times more water than previously thought. In: https://www.thetimes.com/uk/technology-uk/article/thirsty-chatgpt-uses-four-times-more-water-than-previously-thought-bc0pqswdr [21.11.2024].

Robbins, Scott & van Wynsberghe, Aimee (2022): Our new artificial intelligence infrastructure: becoming locked into an unsustainable future. In: Sustainability 14,/Nr. 8 (2022), 4829.

Rohde, Friederike et al. (2024): Broadening the perspective for sustainable artificial intelligence: sustainability criteria and indicators for Artificial Intelligence systems. In: Current Opinion in Environmental Sustainability 66, 101411.

Rohde, Friederike (2025): Daten- und ressourcenhungrig: Gibt es eine nachhaltige KI? In: Verantwortungsblog. https://zevedi.de/daten-und-ressourcenhungrig-gibt-es-eine-nachhaltige-ki/ [16.01.2025].
https://doi.org/10.60805/143q-ga43.

.

Kategorien
Uncategorized

Wer hat die Macht im Zeitalter sogenannter „Künstlicher Intelligenz“?

Cover "Digitalgespräch" Bonusfolge mit Paul Nemitz

Das Digitalgespräch meldet sich vor den Feiertagen mit einer Bonusfolge: Die Gastgeberinnen Marlene Görger und Petra Gehring laden die Hörer:innen ausnahmsweise nicht zu einem Interview, sondern zu einem Vortrag ein. Am 10. und 11. Dezember 2024 hat in Darmstadt ein Symposium „Content? Context!“ stattgefunden, es ging um „Generative KI und kreative Autorschaft in Wissensarbeit und Literatur“. Federführend für das Programm war die Schriftstellerin, Übersetzerin und Moderatorin Nina George als Fellow des Zentrums verantwortungsbewusste Digitalisierung.

Als einer der Gäste des Symposiums sprach Paul Nemitz, Chefberater der Europäischen Kommission, über rechtliche Möglichkeiten und Perspektiven des Schutzes der Interessen von Autor:innen und Kreativschaffenden angesichts der Übermacht von Software-Unternehmen. Der Vortrag – gerichtet an Betroffene, die nach Strategien und Hebeln suchen, ihre Rechte geltend zu machen – gibt Einblicke in die Welt der Lobbyarbeit auf EU-Ebene, enthält Ratschläge und benennt Notwendigkeiten, und er macht die gesamtgesellschaftliche Perspektive klar, vor der die legitimen Interessen einzelner Kreativer und ihrer Verbände zu einer demokratischen Angelegenheit werden.

Bonusfolge: Vortrag von Paul Nemitz, Chefberater der Europäischen Kommission, 17. Dezember 2024
Weitere Informationen:

Link zum interaktiven Symposium „Content? Context! Generative KI und kreative Autorschaft in Wissensarbeit und Literatur“ am 10. und 11. Dezember 2024 in Darmstadt“: https://zevedi.de/themen/generative-ki-und-kreative-autorschaft/
Link zu Digitalgespräch Folge 36 mit Chris Biemann von der Universität Hamburg: https://zevedi.de/digitalgespraech-036-chris-biemann/
Link zu Digitalgespräch Folge 51 mit Jenifer Becker von der Universität Hildesheim: https://zevedi.de/digitalgespraech-051-jenifer-becker/
Link zu Digitalgespräch Folge 52 mit Nina George vom European Writers‘ Council: https://zevedi.de/digitalgespraech-052-nina-george/

Alle Folgen des Digitalgesprächs
Folge 59: Was sind Berufsbilder und verändern sie sich durch Digitalität?
Mit Britta Matthes vom Institut für Arbeitsmarkt und Berufsforschung (IAB) der Bundesagentur für Arbeit | 26. November 2024 | zur Folge»
Folge 58: Gesetze im „Digitalcheck“ und was daraus folgt: Verwaltung digitaltauglich aufstellen
Mit Stephanie Kaiser von der DigitalService GmbH des Bundes | 5. November 2024 | zur Folge»
Folge 57: Dynamische digitale Strategien für den europäischen Sender ARTE
Mit Kemal Görgülü von ARTE GEIE | 15. Oktober 2024 | zur Folge»
Folge 56: Tokenisierung von CO2-Zertifikaten: Blockchain für den Klimaschutz?
Mit Dominik Skauradszun von der Hochschule Fulda | 24. September 2024 | zur Folge»
Folge 55: IT-Riesen und Softwaremonopole: Das Ringen der Hochschulen um digitale Souveränität
Mit Ramin Yahyapour von der Georg-August-Universität Göttingen und der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen | 3. September 2024 | zur Folge»
Folge 54: Infrastrukturen im Weltraum für die Digitalität auf der Erde
Mit Holger Krag vom Europäischen Raumflugkontrollzentrum (ESOC) | 13. August 2024 | zur Folge»
Folge 53: Information und Desinformation – wie steht es um die Netzöffentlichkeit?
Mit Christian Stöcker von der HAW Hamburg | 18. Juni 2024 | zur Folge»
Folge 52: KI und der Wert menschlicher Autorschaft: Der Kampf ums Urheberrecht
Mit Nina George vom European Writers‘ Council | 28. Mai 2024 | zur Folge»
Folge 51: Kreatives Schreiben mit KI
Mit Jenifer Becker von der Universität Hildesheim | 7. Mai 2024 | zur Folge»
Folge 50: Ein „Digitaler Zwilling“ aus Körperdaten? Auf dem Weg in die Gesundheitsvorsorge der Zukunft
Mit Malte Gruber von der Justus-Liebig-Universität Gießen | 16. April 2024 | zur Folge»
Folge 49: Steuerfahndung mit Künstlicher Intelligenz: Panama, Pandora und mehr
Mit Christian Voß von der Forschungsstelle Künstliche Intelligenz (FSKI) am Finanzamt Kassel | 26. März 2024 | zur Folge»
Folge 48: Der AI Act der EU: Wie er zustande kam und wie er KI reguliert
Mit Domenik Wendt von der Frankfurt University of Applied Sciences | 5. März 2024 | zur Folge»
Folge 47: KI und Haftung: Wer steht ein für die Fehler Künstlicher Intelligenz?
Mit Carsten Gerner-Beuerle vom University College London | 13. Februar 2024 | zur Folge»
Folge 46: Arena of IoT: ein Fußballstadion als digitales Reallabor
Mit Oliver Bäcker von EintrachtTech GmbH | 23. Januar 2024 | zur Folge»
Folge 45: Digitale Forensik
Mit Felix Freiling von der Friedrich-Alexander-Universität Erlangen-Nürnberg | 12. Dezember 2023 | zur Folge»
Folge 44: Von Grundsatzdebatte bis Wahlkampf: Digital Kommunizieren in politischen Parteien
Mit Isabelle Borucki von der Philipps-Universität Marburg | 21. November 2023 | zur Folge»
Folge 43: Digitalität und der demokratische Auftrag des öffentlich-rechtlichen Rundfunks
Mit Florian Hager vom Hessischen Rundfunk | 31. Oktober 2023 | zur Folge»
Folge 42: Sensible Daten für die Wissenschaft: Weshalb ein Forschungs­daten­gesetz?
Mit Stefan Bender von der Deutschen Bundesbank | 10. Oktober 2023 | zur Folge»
Folge 41: Modellieren, Simulieren, Optimieren – die Digitalisierung des Energienetzes
Mit Alexander Martin von der Technischen Universität Nürnberg | 19. September 2023 | zur Folge»
Folge 40: Digitalisierte Landwirtschaft – das Beispiel Obstbau
Mit Christine Rösch vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) | 8. August 2023 | zur Folge»
Folge 39: Lehren und Lernen nach der Pandemie: Der schwierige Umbau des digitalen Schulunterrichts
Mit Jan Marco Leimeister von der Universität Kassel | 18. Juli 2023 | zur Folge»
Folge 38: Digitale Kunstwerke bewahren: eine Herausforderung für Museen
Mit Margit Rosen vom ZKM | Zentrum für Kunst und Medien Karlsruhe | 27. Juni 2023 | zur Folge»
Folge 37: Tageszeitungen: Wie verändern sie sich im digitalen Wandel?
Mit Carsten Knop von der Frankfurter Allgemeinen Zeitung | 6. Juni 2023 | zur Folge»
Folge 36: Wie es Computern gelingt, eigenständig mit Sprache umzugehen
Mit Chris Biemann von der Universität Hamburg | 16. Mai 2023 | zur Folge»
Folge 35: Daten­vielfalt hand­hab­bar machen – das Beispiel Bio­di­versi­täts­forschung
Mit Barbara Ebert von der Gesellschaft für Biologische Daten e. V. | 4. April 2023 | zur Folge»
Folge 34: Maschinelles Lernen im Umweltmonitoring
Mit Hanna Meyer von der Universität Münster | 14. März 2023 | zur Folge»
Folge 33: Was können kleine und große Drohnen? Zur Automatisierung von Fluggeräten
Mit Uwe Klingauf von der Technischen Universität Darmstadt | 21. Februar 2023 | zur Folge»
Folge 32: Digitales Kreditscoring: Wie Datenanalysen darüber entscheiden, wem man Geld leiht und wem nicht
Mit Katja Langenbucher von der Goethe-Universität Frankfurt am Main | 31. Januar 2023 | zur Folge»
Folge 31: Biochemie trifft Informatik: Wie man digitale Daten in DNA speichern kann
Mit Robert Grass von der ETH Zürich | 20. Dezember 2022 | zur Folge»
Folge 30: In die eigene finanzielle Zukunft schauen: Digitale Rententransparenz
Mit Andreas Hackethal von der Goethe-Universität Frankfurt a.M. | 29. November 2022 | zur Folge»
Folge 29: Gaming-Kultur für alle: Szenen, Debatten und ein Milliardenmarkt
Mit Rae Grimm von Webedia Gaming GmbH | 8. November 2022 | zur Folge»
Folge 28: Digitale Spielräume in der Musikproduktion
Mit David Waldecker von der Universität Siegen | 18. Oktober 2022 | zur Folge»
Folge 27: Hacker-Attacken und IT-Management: Cyber-Risiken versichern
Mit Florian Salm von der Gothaer Allgemeine Versicherung AG und Ulrich Greveler von der Hochschule Rhein-Waal | 27. September 2022 | zur Folge»
Folge 26: Seltene Rohstoffe und Elektroschrott: Über Materialität und Recyclingprobleme des Digitalen
Mit Mathias Schluep vom World Resources Forum | 6. September 2022 | zur Folge»
Folge 25: Sterben, Trauern und Vermächtnis: Was ändert sich durch Digitalität?
Mit Stephan Neuser vom Bundesverband Deutscher Bestatter e. V. | 16. August 2022 | zur Folge»
Folge 24: Was ist das Darknet und was passiert dort?
Mit Kai Denker von der Technischen Universität Darmstadt | 5. Juli 2022 | zur Folge»
Folge 23: Hochleistungsrechnen zu Zukunftsfragen: Das Deutsche Klimarechenzentrum
Mit Thomas Ludwig vom Deutschen Klimarechenzentrum | 14. Juni 2022 | zur Folge»
Folge 22: Open Source für die öffentliche Verwaltung: das Beispiel Schleswig-Holstein
Mit Marit Hansen, Landesbeauftragte für Datenschutz Schleswig-Holsteins | 24. Mai 2022 | zur Folge»
Folge 21: Von Datenschutz zu Datensouveränität: informationelle Selbstbestimmung in der digitalen Gesellschaft
Mit Steffen Augsberg von der Justus-Liebig-Universität Gießen | 3. Mai 2022 | zur Folge»
Folge 20: Von Cartoons zu Instagram: „Perfekte Bilder“ und das Körperverhältnis von Mädchen
Mit Maya Götz vom Internationalen Zentralinstitut für das Jugend- und Bildungsfernsehen (IZI) des Bayerischen Rundfunks | 12. April 2022 | zur Folge»
Folge 19: Verträge automatisieren? Was sind und was leisten „Smart Contracts“?
Mit Nikolas Guggenberger von der Yale Law School | 22. März 2022 | zur Folge»
Folge 18: KI und Krieg: Verhandeln für eine UN-Konvention gegen tödliche autonome Waffensysteme
Mit Anja Dahlmann vom Institut für Friedensforschung und Sicherheitspolitik an der Universität Hamburg | 1. März 2022 | zur Folge»
Folge 17: Was ist Gaia-X?
Mit Boris Otto von der TU Dortmund und dem Fraunhofer ISST | 8. Februar 2022 | zur Folge»
Folge 16: Cookies, AirTags, Metadaten: Wohin führt das Tracking?
Mit Matthias Hollick von der Technischen Universität Darmstadt | 25. Januar 2022 | zur Folge»
Folge 15: Mit Physik rechnen: Quantencomputer in der Realität
Mit Frank Wilhelm-Mauch von der Universität des Saarlandes | 11. Januar 2022 | zur Folge»
Folge 14: Vermitteln, voranbringen, ermöglichen: Wie macht eine Digitalministerin Politik?
Mit Kristina Sinemus, der Hessischen Ministerin für Digitale Strategie und Entwicklung | 14. Dezember 2021 | zur Folge»
Folge 13: Likes, Bewertungen und smarte Assistenten – Risiken einer digitalen „Verbraucherdemokratie“
Mit Jörn Lamla von der Universität Kassel | 30. November 2021 | zur Folge»
Folge 12: Von der Münze zum Token: Geld, Wert und Währung in der Digitalität
Mit Martin Diehl von der Deutschen Bundesbank | 16. November 2021 | zur Folge»
Folge 11: Smarte Stadtentwicklung – was tun kommunale Unternehmen?
Mit Klaus-Michael Ahrend von der HEAG Holding AG | 2. November 2021 | zur Folge»
Folge 10: Genetische Information im digitalen Zeitalter: Der Streit um das Nagoya-Protokoll
Mit Anna Deplazes Zemp von der Universität Zürich | 19. Oktober 2021 | zur Folge»
Folge 9: Anspruch und Wirklichkeit: Wie steht es um den Datenschutz?
Mit Alexander Roßnagel, dem Hessischen Beauftragten für Datenschutz und Informationsfreiheit | 5. Oktober 2021 | zur Folge»
Folge 8: Predictive Policing und die Folgen: Datenanalyse in der Polizeiarbeit
Mit Simon Egbert von der Universität Bielefeld | 21. September 2021 | zur Folge»
Folge 7: DE-CIX und die Architektur des Internets
Mit Harald A. Summa von eco – Verband der Internetwirtschaft e. V. | 7. September 2021 | zur Folge»
Folge 6: Datenträger, Datendienste, Datenspuren: wissenschaftliche Bibliotheken und Verlage im digitalen Wandel
Mit Katrin Stump von der Universitätsbibliothek Braunschweig | 3. August 2021 | zur Folge»
Folge 5: Datenchirurgie? Intelligente Technik im OP
Mit Stefanie Speidel vom Nationalen Centrum für Tumorerkrankungen in Dresden | 20. Juli 2021 | zur Folge»
Folge 4: KI in der Finanzwelt
Mit Florian Möslein von der Philipps-Universität Marburg | 6. Juli 2021 | zur Folge»
Folge 3: Blockchain nach Bitcoin: Regeln in der Welt der Krypto-Token
mit Sebastian Omlor von der Philipps-Universität Marburg | 22. Juni 2021 | zur Folge»
Folge 2: Emotet & Co: der Kampf gegen Cyberkriminalität
Mit Linda Bertram von der Zentralstelle zur Bekämpfung der Internetkriminalität | 8. Juni 2021 | zur Folge»
Folge 1: Überwachung messbar machen
Mit Ralf Poscher vom Max-Planck-Institut zur Erforschung von Kriminalität, Sicherheit und Recht | 26. Mai 2021 | zur Folge»
Folge 0: Digitalgespräch - ab dem 26. Mai 2021
Ein Vorgeschmack auf das Digitalgespräch | 24. Mai 2021 | zur Folge»

Alle ZEVEDI-Podcasts

Creative Commons Lizenzvertrag

Kategorien
Uncategorized

2.1. Kleines Geld, große Wirkung? – Mikrozahlungen im Journalismus

Cover Digitalgelddickicht Staffel 2 Folge 1

Der Journalismus hat sich mit der Digitalisierung grundlegend verändert. Zum Teil in seinen Inhalten, in seinen Formaten, und auch und vielleicht besonders in seinen Infrastrukturen und der Art und Weise, wie er sich finanziert. Klassische Abomodelle von Tages- oder Wochenzeitungen zum Beispiel sind ins Hintertreffen geraten, auch die sichere Einkommenssäule durch Anzeigen ist bröcklig geworden. Digitale Äquivalente dazu haben sich zwar gebildet, aber alte längst nicht vollwertig ersetzen können. Es braucht ganz anders gedachte Geschäftsmodelle – und die haben sich entwickelt und entwickeln sich weiter.

 

In dieser Folge fragen wir uns im Digitalgelddickicht: Welche Rolle spielen kleine digitale Beteiligungsmodelle im Journalismus? Tragen kleine Zahlungen, trägt die Idee eines „Mini-Payment“ dazu bei, ihn in eine neue Phase seriöser journalistischer Arbeit hineinzufinanzieren? Oder führen die Effekte der Digitalisierung die traditionellen und auch weniger traditionellen Medien vor allem in die Prekarität, verändern die auf das Kleine setzenden Bezahlmodelle sie nachhaltig zum Schlechten, hin zur reinen Unterhaltung? Und was heißt „Mikrozahlung“ eigentlich konkret im Journalismus – Einmalzahlung, Abo oder der einzelne Beitragskauf?

Staffel Kleines Geld – Folge 1 | 17. Dezember 2024

Gäste

Ann-Kathrin Liedtke ist Leiterin für Onlinebezahlstrategien und Mitgliedschaften bei der taz, für die sie seit 2016 arbeitet. Davor war sie Verantwortliche der taz Blogs und Programmredakteurin beim taz lab.

Sebastian Esser ist Geschäftsführer der Plattform Steady. Außerdem ist er seit 2014 Co-Vorstand der Genossenschaft und Herausgeber des Magazins Krautreporter.

André Peschke hat gemeinsam mit Jochen Gebauer „The Pod“ ins Leben gerufen, einer der meistgehörten Gaming-Podcasts in Deutschland, nachdem er Video-Chefredakteur bei Gamestar gewesen ist.

Weiterführendes

Den im Podcast zitierten Beitrag des Colombia Journalism Review kann man hier lesen. Ein weiterführendes Interview mit dem Medienforscher Christian-Mathias Wellbrock findet sich hier.

Alle Folgen des Digitalgelddickichts»

Alle ZEVEDI-Podcasts

Creative Commons Lizenzvertrag

Kategorien
Akzentfarbe: grün (Heidbrink-Text) Autor: Ludger Heidbrink Uncategorized Verantwortungsblog

Sphären der Unverantwortlichkeit

Sphären der Unverantwortlichkeit
Zum Umgang mit den Verantwortungslücken der Digitalisierung

In komplexen und vernetzten Gesellschaften müssen – neben der Bereitschaft, Verantwortung zu übernehmen – auch Sphären der erlaubten Unverantwortlichkeit geschaffen werden. Akteure können hier modifizierte Zurechnungsverfahren entwickeln, die auf dem begründeten Ausschluss von Verantwortlichkeiten beruhen. Dieser Ausschluss ist notwendig, um auf neuartige digitale Prozesse, die in ihrer Struktur und ihren Konsequenzen noch vielfach unbekannt sind, normativ angemessen reagieren zu können.

Von Ludger Heidbrink | 12.12.2024

Ein Fahrzeug in einer Sphäre
Erzeugt mit Adobe Firefly. Prompt: „Sehr reduzierte Skizze eines autonomen Fahrzeugs in einer großen digitalen Sphäre; Stil: Kubismus; Farben: grün, blau, gelb“

Hochmoderne Gesellschaften haben einen besonderen Verantwortungsbedarf entwickelt. Dabei gehen sie trotz der enormen Komplexität, die neue Technologien kennzeichnet, davon aus, dass sich Handlungen jemandem zurechnen lassen und Schadensfolgen auf Urheber zurückgeführt werden können (Heidbrink 2022, 38ff.). Dies gilt auch für aktuelle Entwicklungen wie den Einsatz digitaler Agenten und KI-Systeme, die für ihre Operationen eine eigenständige moralische und rechtliche Verantwortung tragen sollen. Dieser Beitrag zeigt, dass für die Responsibilisierung digitaler Agenten und KI-Systeme wesentliche Voraussetzungen nicht erfüllt sind und es deshalb sinnvoller ist, auf einen Standpunkt der Nichtverantwortlichkeit umzustellen, von dem aus sich genauer erkennen lässt, wo die Grenzen der Responsibilisierung digitaler Systeme liegen.1

Das besondere Kennzeichen der Digitalisierung liegt weniger darin, dass digitale Maschinen wie Roboter und KI-Systeme eine immer wichtigere Rolle im alltäglichen Leben spielen, als vielmehr in der Veränderung der Zurechenbarkeit von Folgenketten, die mit digitalen Prozessen einhergeht. Die exponentielle Steigerung der Rechenleistung und Datenmengen übersteigt die kognitive Verarbeitungsfähigkeit der Nutzer digitaler Systeme und ihre regulative Kontrolle dieser Systeme. Eine Konsequenz besteht darin, dass die Verantwortung in die digitalen und automatisierten Systeme zurückverlagert wird, die so programmiert werden, dass sie potenzielle Schäden vorhersehen können und in Gefahrensituationen mit entsprechenden Gegenmaßnahmen reagieren.

Günther Anders hat schon in den 1950er Jahren prognostiziert, dass der Mensch in der Lage sein werde, Apparate zu konstruieren, „auf die man die Verantwortung abschieben kann, Orakelmaschinen also, elektronische Gewissens-Automaten“, die „schnurrend die Verantwortung übernehmen, während der Mensch danebensteht und, halb dankbar und halb triumphierend, seine Hände in Unschuld wäscht“ (Anders 1961, 245). Was dabei stattfindet, ist nach Anders die „Verlagerung der Verantwortung in das […] Objekt“, die eine „Ersetzung der ‚responsibility‘ durch einen mechanischen ‚response‘“ (ebd., 246) zur Folge hat.

Die Prognose von Anders ist Realität geworden. Die Frage nach dem Verhältnis von responsibility und response spielt überall dort eine Rolle, wo Roboter und automatische Systeme eigenständig agieren, ohne autonome Urheber ihrer Aktivitäten zu sein. Artifizielle Agenten sind keine handlungsfähigen Akteure, sondern intelligente Apparate, die aus Prozessoren, Sensoren und künstlichen Gliedern bestehen. Ihnen sind Operationen möglich, die zwar autonom wirken, aber nicht autonom sind. Pflegeroboter, Kampfdrohnen oder automatisierte Fahrzeuge werden in der Regel durch Programmierer und Nutzer gesteuert, sie agieren „within the control of a tool’s designers and users“ (Wallach/Allen 2009, 26). Bislang gibt es keine Formen künstlicher Intelligenz, die auf nicht-determinierten Algorithmen beruhen und zu Handlungen in der Lage sind, die tatsächlich autonom sind. Autonom und lernfähig sind KI-Systeme höchstens in dem Sinn, dass sie algorithmische Strukturen variieren und innerhalb vorgegebener Programme neue Verknüpfungen herstellen.

Die Selbstständigkeit intelligenter Roboter und Automaten bewegt sich somit in beschränkten Bahnen, die zwar eine hohe Komplexität aufweisen, aber nicht die Bedingungen erfüllen, unter denen Akteuren personale und moralische Autonomie zugeschrieben werden kann. Hochentwickelte KI-Systeme lassen sich allenfalls als operationale Akteure beschreiben, die über eine rationale und agentiale Autonomie verfügen. Sie agieren nach vorgegebenen Codes, ohne eine reflexive Einsicht in die Gründe ihres Agierens entwickeln zu können und ihre Operationen anhand normativer Kriterien bewerten zu können, die nicht durch die algorithmischen Strukturen vorgegeben sind.

Gleichwohl werden KI-Systeme in zunehmenden Maß dort eingesetzt, wo sonst Menschen handeln, sei es mit dem Ziel der Sicherheit, der Effizienz oder des Supports. Damit müssen Fragen der moralischen Zurechnung und rechtlichen Haftung anders als bisher gestellt werden. Was geschieht, vom Daten- und Urheberschutz abgesehen, wenn KI-Systeme zu fehlerhaften Operationen führen, falsche Diagnosen produzieren und Schäden für Dritte erzeugen? Wie soll damit umgegangen werden, dass intelligente Roboter und Computer scheinbar autonom entscheiden, in Wirklichkeit aber doch nur – freilich: im Detail unüberblickbar – Programme eines Herstellers ausführen? Wo verläuft, mit Anders gesprochen, die Grenze zwischen der responsibility von Akteuren und dem response von digitalen Systemen?

Die Verantwortlichkeit artifizieller Agenten hängt im Kern davon ab, ob sich ihnen ähnlich wie natürlichen Personen eine eigenständige Handlungsfähigkeit zuschreiben lässt. Nach Luciano Floridi und Jeff W. Sanders (2004, 357f.) gibt es vor allem drei Kriterien, durch die artifizielle Agenten gekennzeichnet sind: Interaktivität, mit der Akteure untereinander und auf ihre Umwelt reagieren und sich wechselseitig beeinflussen; Autonomie, durch die Akteure ihren Zustand unabhängig voneinander und von ihrer Umwelt verändern können; Adaptabilität, durch die Akteure sich aneinander und an ihre Umwelt anpassen und Regeln für Zustandsänderungen entwickeln.

Von diesen Eigenschaften ist die Autonomie die Kategorie, die üblicherweise bei natürlichen Personen neben Freiheit als Basisbedingung für die Zuschreibung von Verantwortung zugrunde gelegt wird. Personale Akteure gelten in der Regel dann als verantwortungsfähig, wenn sie frei und selbstbestimmt agieren können. Nach Floridi und Sanders besitzen auch artifizielle Agenten eine spezifische Art der Autonomie, die sich allerdings von der Autonomie natürlicher Personen unterscheidet. Um die Autonomie artifizieller Agenten von der Autonomie natürlicher Personen abgrenzen zu können, greife ich auf die Klassifizierung von vier Formen der Autonomie zurück, wie sie Stephen Darwall (2006, 265) getroffen hat. Darwall unterscheidet zwischen personaler, moralischer, rationaler und Handlungsautonomie. Von diesen vier Formen bildet die Handlungsautonomie (agent autonomy) die schwächste Form der Autonomie, da sie keine rationalen, moralischen oder personalen Gründe der Selbstbestimmung und Selbststeuerung voraussetzt. Wenn man nun unter Handlungsautonomie die bloße „Selbstursprünglichkeit“ (Misselhorn 2018, 76) von Akteuren versteht, die in einem eingeschränkten Sinn operative Prozesse durchführen können, ist es möglich, artifizielle Agenten als quasi-autonome Akteure zu klassifizieren. Artifizielle Agenten verfügen zwar über keine Handlungsgründe und führen keine intentional eigenständigen Handlungen durch, sie operieren aber auf der Grundlage von algorithmischen Programmen, die ihren Operationen eine funktionale Eigenständigkeit äquivalent zu personalen Akteuren verleiht: Roboter und künstliche Systeme lassen sich in ihren Operationen so betrachten, als ob sie die gleichen Eigenschaften wie Bewusstsein, mentale Zustände und Intentionen besitzen würden, die natürliche Agenten kennzeichnen.

Die Autonomie artifizieller Agenten ist dadurch gekennzeichnet, dass sie sich strukturell analog zur Autonomie natürlicher Akteure verhält. Auch wenn artifizielle Agenten nicht autonom sind, weisen sie in ihrem Verhalten die gleichen Handlungsmuster wie natürliche Akteure auf. Aus dieser Quasi-Autonomie lassen sich Kriterien für die Moralität und Zurechnungsfähigkeit von künstlichen Systemen ableiten. Artifizielle Agenten in der Gestalt von Robotern und autonomen Steuerungssystemen können nach einer Kategorisierung von James Moor in die Klasse der „explicit ethical agents“ (Moor 2006, 19) eingeordnet werden, die nicht nur in Übereinstimmung mit moralischen Regeln handeln, sondern auch in Analogie zu moralischen Kriterien agieren. Explizite ethische Agenten – etwa autonome Fahrzeuge – sind aufgrund ihrer Programmierung in der Lage, so zu reagieren, dass ihre Reaktionen als moralische Entscheidungen interpretiert werden können, denen ein hinreichendes Verständnis der Entscheidungssituation zugrunde liegt.

Just as a computer system can represent emotions without having emotions, computer systems may be capable of functioning as if they understand the meaning of symbols without actually having what one would consider to be human understanding (Wallach/Allen 2009, 69).

Roboter und künstliche Systeme bilden insoweit analoge moralische Agenten, insofern sie „Maschinen mit inneren Zuständen“ gleichen, „die moralischen Meinungen und Pro-Einstellungen2 funktional hinreichend ähnlich sind, um als moralische Gründe gelten zu können“ (Misselhorn 2018, 88). Unter diesen Voraussetzungen ist es möglich, artifiziellen Agenten einen normativ schwachen, aber relevanten Status moralischer Handlungsfähigkeit zuzuschreiben, der die Frage nach der spezifischen Verantwortlichkeit von KI-Systemen etwas genauer zu beantworten erlaubt.

Es ist deutlich geworden, dass artifizielle Agenten auf der Grundlage einer analogen und schwachen Moralität operieren. Daraus ergibt sich aber nicht zwingender Weise, dass diese Agenten auch verantwortlich für ihre Operationen sind. Moralisches Handeln schließt nicht notwendigerweise verantwortliches Handeln ein: „x is capable of moral action even if x cannot be (or is not yet) a morally responsible agent“ (Floridi/Sanders 2004, 368). Zwischen Moralität und Verantwortlichkeit besteht insofern ein wichtiger Unterschied, als moralisch relevante Operationen keinen verantwortlichen Akteur voraussetzen müssen, sondern es ausreicht, dass die Operationen selbst ethisch oder rechtlich evaluiert werden können. Vor dem Hintergrund der funktionalen Autonomie agieren Roboter und künstliche Systeme so, dass ihnen ihre Operationen moralisch zugeschrieben werden können, ohne dass sie dafür (schon) eine hinreichende Verantwortung tragen: „there is no responsibility but only moral accountability and the capacity for moral action“ (Floridi/Sanders 2004, 376).

Die Unterscheidung von moral accountability und responsibility erlaubt es, Roboter und künstliche Systeme als artifizielle moralische Agenten zu beschreiben, die ethisch und rechtlich zurechnungsfähig sind, ohne verantwortlich sein zu müssen. Die Konzeption einer morality without responsibility ist heuristisch sinnvoll, um die spezifische Wirkungsfähigkeit artifizieller Agenten normativ erfassen zu können. Roboter und künstliche Systeme operieren in der Regel auf der Grundlage lernender Algorithmen und adaptiver Programme, durch die sie eigenständig mit ihrer Umwelt interagieren, ohne dass sich die Folgen handlungskausal auf sie zurückführen lassen. Die maßgeblichen Entscheidungen werden vielmehr von den Herstellern und Anbietern getroffen, die deshalb die rechtliche und moralische Hauptverantwortung tragen sollen, wie es jüngst auch im AI Act der EU festgelegt wurde.3

Je höher allerdings der Grad der funktionalen Autonomie artifizieller Agenten ist, umso schwieriger ist es genau genommen, die Hersteller und Anbieter für die Operationen von KI-Systemen verantwortlich zu machen. Künstliche Agenten können eigenständig handeln, ohne dass sie die kausale und moralische Verantwortung für ihre Operationen tragen. In Fällen, in denen „the machine itself“ operiert, entsteht ein „responsibility gap“ zwischen Handlungsursachen und Handlungsfolgen, der die Frage aufwirft, wie mit der begrenzten Handlungskontrolle der Hersteller über die digitalen Systeme auf normativer Ebene umgegangen werden soll (Matthias 2004, 177, 181f.).

In Fällen der operativen Autonomie und fehlenden Kontrolle von KI-Systemen, die überall dort auftreten können, wo Daten durch lernende Algorithmen verarbeitet und in neuronalen Netzwerken funktional selbstständige Entscheidungen generiert werden, geraten herkömmliche Verantwortungsmodelle an ihre Grenzen. Der responsibility gap lässt sich nicht einfach dadurch wieder schließen, dass den Herstellern von KI-Systemen primäre Verantwortlichkeiten zugeschrieben werden. Erforderlich sind vielmehr Konzepte der geteilten Verantwortung, die der spezifischen Netzwerkstruktur digitaler Agentensysteme Rechnung tragen.

Eine mögliche Grundlage hierfür bildet das Konzept der „distributed moral responsibility“ (DMR) von Luciano Floridi, das netzwerktheoretische Elemente mit moralischen und juristischen Konzepten verbindet. Im Unterschied zu herkömmlichen Gruppenakteuren operieren Agenten in Netzwerken weder kausal noch intentional, sodass ihnen ihre Handlungsfolgen nicht direkt zugerechnet werden können. Gleichwohl erzeugen Mehrebenen-Netzwerke Wirkungen und Effekte, die ohne ihre Operationen nicht zustande gekommen wären, wie sich dies exemplarisch an automatischen Steuerungsanlagen oder autonomen Fahrsystemen beobachten lässt. Netzwerkoperationen generieren „distributed moral actions“ (DMA), die normativ relevant sind, sich aber nicht auf intentionale Urheber oder kausale Zustände zurückverfolgen lassen (Floridi 2016, 6). Multi-Layered Neural Networks sind vielmehr dadurch gekennzeichnet, dass Input-Aktionen über ein Netz an Knotenpunkten laufen, die als ungesteuerter („gesellschaftlicher“) Verteiler Output-Effekte erzeugen, welche als DMR-Handlungen wirksam werden.

Bei solchen Netzwerk-Folgen geht es deshalb nicht um die normative Bewertung der Handlungsträger, sondern der Handlungsketten, die im Fall von Schädigungen verantwortungsrelevant sind:

All that matters is that change in the system caused by the DMA is good or evil and, if it is evil, that one can seek to rectify or reduce it by treating the whole network as accountable for it, and hence back propagate responsibility to all its nodes/agents to improve the outcome (Floridi 2016, 7).

Mit Hilfe des DMR-Modells lässt sich die Verantwortung dem Netzwerk als Ganzes zuschreiben, um von dort aus die Knotenpunkte und Agenten einzubeziehen. Je nach Art der Fehler und Schäden greifen unterschiedliche Maßnahmen. Sie können in der Gefährdungshaftung von Produzenten, der Verbesserung der ethischen Infrastrukturen oder in operativen Lernprozessen bestehen, durch die Risiken von Fehlfunktionen reduziert werden. Das DMR-Modell kann hilfreich sein, um KI-Systeme verantwortungsfähig zu machen, indem zuerst der digitale Netzwerkverbund in die Verantwortung genommen wird, um im nächsten Schritt die Elemente des Netzwerks einzubeziehen.

Ein ähnlicher Vorschlag besteht darin, die Verantwortung für Schäden artifizieller Agenten durch einen kollektiven Versicherungs- und Haftungspool aufzufangen. Auch wenn Roboter und künstliche Systeme keinen Rechtsstatus wie natürliche Personen besitzen, lässt sich ihnen ein digitaler Personenstatus zuschreiben. Ähnlich wie sich Organisationen und Unternehmen als „legal persons“ betrachten lassen, können artifizielle Agenten nach einem Vorschlag von Susanne Beck als „electronic persons“ behandelt werden, die spezifische Rechte und Pflichten besitzen (Beck 2016, 479). Dieser Vorschlag würde es ermöglichen, rechtliche Verantwortlichkeiten auf artifizielle Agenten zu bündeln und sie beispielsweise über einen kollektiv eingerichteten Kapitalstock abzusichern, der durch eine „electronic person Ltd.“ verwaltet wird:

A certain financial basis would be affixed to autonomous machines, depending on the area of application, hazard, abilities, degree of autonomy etc. This sum which would have to be raised by the producers and users alike, would be called the capital stock of the robot and collected before the machine was put into public use (Beck 2016, 479).

In eine ähnliche Richtung argumentiert Gunther Teubner. Um der funktionalen Autonomie digitaler Agenten zu entsprechen, muss von einer partiellen Rechtssubjektivität digitaler Agenten ausgegangen werden (Teubner 2018, 177). Die partielle Rechtssubjektivität erlaubt es, Institute der Gehilfen- und Assistenzhaftung in Anspruch zu nehmen, wenn KI-Systeme teilautonom Schäden verursachen, etwa in Fällen der Fehlfunktion von Service- oder Pflegerobotern. In solchen Fällen haftet der Betreiber mit, da er sich das Versagen einer verschuldensunfähigen Maschine zurechnen lassen muss.

Die digitale Assistenzhaftung für rechtswidrige Entscheidungen digitaler Agenten stößt allerdings dort an Grenzen, wo Multi-Agenten-Netzwerke agieren, etwa bei autonomen Fahrsystemen oder digitalen Plattformen. In diesen Fällen geht es um das körperschaftsähnliche Gesamthandeln des Netzwerkes, das in seiner hybriden Verfassung zum Adressaten der Rechtsnormierung gemacht werden muss. Wenn Netzwerke zu Zurechnungsadressaten gemacht werden, also nicht mehr Handlungsträger, sondern Handlungsketten normativ adressiert werden, könnte es sinnvoll sein, ähnlich wie im Fall der elektronischen Personen-GmbH einen „Risiko-Pool“ (Teubner 2018, 202) einzurichten, der die Netzwerk-Akteure in eine Art monetäre Kollektivhaftung nimmt, unabhängig davon, ob eine schadenskausale Eigenverantwortung vorliegt, die bei digitalen Agenten nicht mehr ohne weiteres festzustellen ist.

Das Kapitalstock- und Versicherungsmodell haben den ökonomischen und gesellschaftlichen Vorteil, dass Innovationen nicht vorschnell durch staatliche Regulierungen des Marktes unterbunden werden, sondern die Marktakteure selbst Regeln etablieren, die in direkter Auseinandersetzung und auf praktischer Erfahrungsgrundlage mit KI-Systemen entwickelt werden. Anstatt wie der AI Act der EU und die Datenethikkommission der Bundesregierung einen „risikoadaptierten Regulierungsansatz algorithmischer Systeme“ zu verfolgen, der von einer mehrstufigen Kritikalität mit abgestuftem Schädigungspotential ausgeht (Datenethikkommission 2019, 24), dürfte es praktikabler sein, KI-Systeme mit vorläufigen Zulassungen zu versehen und unter Realbedingungen zu beobachten, welche Kritikalität besteht und wie sich Schadensfolgen durch die Multi-Agenten-Verbünde selbst kompensieren lassen.

Das Kapitalstock- und Versicherungsmodell für digitale Multi-Agenten-Verbünde stellt eine Reaktion auf die Schwierigkeit dar, weder artifizielle Akteure und KI-Systeme noch Hersteller und Anbieter direkt für Schadensfolgen verantwortlich machen zu können. Die Umstellung auf partielle Nichtverantwortlichkeit bildet eine „adaptive Reaktion“ (Staab 2022, 9) auf das Problem, den Verantwortungsbedarf moderner Gesellschaften adäquat zu decken. Der Ausgang von legitimen Bereichen der Nichtverantwortlichkeit bietet die Chance, Freiräume der Gestaltung zurückzugewinnen, die im Korsett moralischer und rechtlicher Regulatorik verloren zu gehen drohen (Augsberg et al. 2020).

Wenn vom point of irresponsibility aus gehandelt wird, öffnen sich neue Möglichkeitsbereiche, in denen Akteure erproben können, welche Normen und Konventionen geeignet sind, den gesellschaftlichen Verkehr zu organisieren, ohne ihn über Gebühr einzuschränken oder die Kontrolle über ihn zu verlieren.

  1. Dieser Beitrag geht zurück auf Ludger Heidbrink: Nichtverantwortlichkeit. Zur Deresponsibilisierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2024, sowie auf Ders. (2020): Artifizielle Agenten, hybride Netzwerke und digitale Verantwortungsteilung auf Märkten, in: Detlev Aufderheide/Martin Dabrowski (Hg.): Digitalisierung und künstliche Intelligenz. Wirtschaftsethische und moralökonomische Perspektiven, Berlin: Duncker & Humblot 2020, S. 67–76. ↩︎
  2. Pro-Einstellungen sind in der Regel prosoziale und ethische Einstellungen. ↩︎
  3. Der EU AI Act enthält konkrete Vorschriften zu Pflichten und Haftung von Anbietern insbesondere hochriskanter KI-Systeme, die vom Risikomanagement über Datengovernance, die Meldung von Fehlfunktionen, Transparenzpflichten bis zur Konformitätserklärung und Bußgeldern reichen. Allerdings bleibt völlig unklar, wie die Anbieterverantwortung zum Tragen kommen soll, wenn KI-Systeme Schäden verursachen, die den Bereich erwartbarer Sorgfalts-, Transparenz- und Governancepflichten übersteigen, ohne dass dies weder Anbieter noch KI-Systemen zugerechnet werden kann: https://artificialintelligenceact.eu/de/das-gesetz/ [25.10.2024]. ↩︎

Anders, Günther (1961): Die Antiquiertheit des Menschen. Über die Seele im Zeitalter der zweiten industriellen Revolution, München: C.H. Beck.

Augsberg, Ino/Augsberg Steffen/Heidbrink, Ludger (2020): Einleitung, in: dies. (Hg.), Recht auf Nicht-Recht. Rechtliche Reaktionen auf die Juridifizierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2020, S. 7–23.

Beck, Susanne (2016): The Problem of Ascribing Legal Responsibility in the Case of Robotics. In: AI & Soc, 4, S. 473–481, DOI: 10.1007/s00146-015-0624-.

Darwall, Stephen (2006): The Value of Autonomy and Autonomy of the Will. In: Ethics, 2, S. 263–284. https://doi.org/10.1086/498461.

Datenethikkommission (2019): Gutachten der Datenethikkommission der Bundesregierung 2019. https://www.bmi.bund.de/SharedDocs/downloads/DE/publikationen/themen/it-digitalpolitik/gutachten-datenethikkommission-kurzfassung.pdf;jsessionid=2D3F771129FE36B3E65F587217FEC3FF.2_cid373?__blob=publicationFile&v=4 [25.10.2024].

Floridi, Luciano/Sanders, Jeff W. (2004): On the Morality of Artificial Agents. In: Minds and Machines, 3, S. 349–379. https://doi.org/10.1023/B:MIND.0000035461.63578.9d.

Floridi, Luciano (2016): Faultless responsibility: on the nature and allocation of moral responsibility for distributed moral actions. In: Phil. Trans. R. Soc. A 374, S. 1–13. https://doi.org/10.1098/rsta.2016.0112.

Heidbrink, Ludger (2022): Kritik der Verantwortung. Zu den Grenzen verantwortlichen Handelns in komplexen Kontexten, Neuauflage, Weilerswist: Velbrück Wissenschaft.

Matthias, Andreas (2004): The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. In: Ethics and Information Technology 3, S. 175–183. https://doi.org/10.1007/s10676-004-3422-1.

Misselhorn, Catrin (2018): Maschinenethik: Maschinen als moralische Akteure, 3. Aufl., Stuttgart: Reclam.

Moor, James H. (2006): The Nature, Importance, and Difficulty of Machine Ethics. In: IEEE Intelligent Systems 4, S. 18–21. https://doi.org/10.1109/MIS.2006.80.

Staab, Philipp (2022): Anpassung. Leitmotiv der nächsten Gesellschaft, Berlin: Suhrkamp.

Teubner, Gunther (2018): Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten, Tübingen: Mohr Siebeck. Wallach,

Wendell/ Allen, Colin (2009): Moral Machines. Teaching Robots Right from Wrong, Oxford: Oxford University Press.

Heidbrink, Ludger (2024): Sphären der Unverantwortlichkeit. Zum Umgang mit den Verantwortungslücken der Digitalisierung. In: Verantwortungsblog. https://zevedi.de/sphaeren-der-unverantwortlichkeit/[12.12.2024]. https://doi.org/10.60805/dh0m-1k66.

Kategorien
Uncategorized

Digitalgelddickicht – Staffel 1: Digitaler Euro

Ein Überblickstrailer

Staffel 1 – Überblickstrailer

Die Staffel 1 des Digitalgelddickichts nähert sich dem Thema Digitaler Euro aus möglichst vielen Richtungen, erklärt, versucht zu verstehen, fragt nach. Mithilfe von Gesprächspartner:innen aus der Wissenschaft, Vertreter:innen von Geschäftsbanken und EZB, der Zivilgesellschaft und aus dem EU-Parlament beleuchtet es in insgesamt 10 Folgen möglichst viele Aspekte und nimmt verschiedene Perspektiven ein.

Ein Angebot für all jene, die sich mit den Chancen und Problemen eines digitalen Euro, der Kritik an und Hoffnungen für ein zukünftiges digitalen Zentralbankgeld eingehender oder stichprobenartig befassen wollen.

Kategorien
Uncategorized

eFin & Demokratie auf dem Digital-Gipfel 2024

Am 21. und 22. Oktober 2024 fand in Frankfurt am Main der Digital-Gipfel der Bundesregierung statt. eFin & Demokratie war auf der Landesebene mit einem Stand samt neuer Medienstation vertreten und bot Gelegenheiten zu Austausch und Information.

Impression vom Stand des Diskursprojektes eFin & Demokratie af dem Digital-Gipfel 2024

Stand auf dem Digital-Gipfel

21./22.10.2024

Markt der digitalen Möglichkeiten (Ebene 1 im Kap Europa), Standnummer 8

Die ZEVEDI-Projektgruppe Die normativen Dimensionen des digitalen Euro (DINO) war darüber hinaus im Begleitprogramm des Partnerlandes Hessen an einem Panel zu den Aussichten eines digitalen Euros beteiligt.

Zum Diskursprojekt Demokratiefragen des digitalisierten Finanzsektors

Alle ZEVEDI-Veranstaltungen

Kategorien
Akzentfarbe: Rose Autor: Armen Avanessian Uncategorized Verantwortungsblog

Verantwortung heißt Spekulation

Verantwortung heißt Spekulation

Inwiefern transformiert die digitale Revolution das Leben selbst? Und müssen wir andere Formen von Überleben finden? Verantwortung heißt Spekulation. Ein Gespräch mit dem Philosophen Armen Avanessian.

Armen Avanessian im Gespräch mit Konstantin Schönfelder | 25.10.2024

ein bild vom planeten erde vom mond aus ferner entfernung in grau und schwarz
Erstellt mit Adobe Firefly, Prompt: „a picture from planet earth seen from the moon in far distance, grey and black“

AA: Also nicht nur ein Philosoph. Das war immer schon eines der Merkmale von spekulativem Denken oder spekulativer Philosophie – die übrigens viel kritisiert wurde, es gibt eine ganze moderne kritische Tradition, die sich dem entgegenstellt. Das Wort Spekulation hat zudem aus finanzökonomischen Gründen nicht die allerbeste Reputation. Ich denke aber, dass das nicht nur für Philosophen und Philosophinnen, sondern für die Gesellschaft generell von Bedeutung ist, und zwar nicht nur wegen des üblichen „Wir müssen wieder mehr Imagination wagen“, sondern um zeitgemäß zu sein in einer Zeit, die mehr und mehr von nichtmenschlichen Intelligenzen beeinflusst ist. Formen von Algorithmen, von künstlichen Intelligenzen, die sehr viel über die Zukunft wissen, nicht nur mehr mutmaßen, sondern wissen und aus diesem Zukunftswissen heraus die Gegenwart steuern: Diesbezüglich up to date zu sein – das betrachte ich geradezu als staatsbürgerliche Pflicht und auch eine entscheidende gesellschaftliche Herausforderung. 

AA: Da müsste man unterscheiden. Einmal gibt es die Digitalisierung, mit der viele gesellschaftliche Veränderungen einhergehen. Dann aber gibt es noch die medientheoretischen oder real erlebbaren Veränderungen: Was bedeutet es für unsere Kultur, mit dem Digitalen – einer so massiven medientechnologischen Veränderung konfrontiert zu sein, die ungefähr auf der gleichen Stufe steht wie der Buchdruck oder der Erfindung der Schriftlichkeit? Diese neue Situation ist in jedem Falle auf einer fundamentaleren Ebene angesiedelt als diejenige von Eisenbahn oder Telefon!
Und zu Ihrer Frage, was die Digitalisierung für unser Leben bedeutet: da würde ich Leben in einem emphatischen Sinn verstehen wollen. Inwiefern transformiert die digitale Revolution das biologische Leben selbst, nicht einfach nur unseren Lebensalltag? Die Fragen, die uns jetzt gesellschaftlich beschäftigen, sind ja von dieser Art: Was ist das dem Menschen Eigentümliche? Ist es die Intelligenz? Gibt es andere als kohlenstoffbasierte Intelligenzen? Was macht Kommunikation zwischen den Menschen aus? Diese Veränderungen sind medientechnologische, aber zugleich auch biologische Transformationen. 

AA: Die Frage, die ich mir stelle, ist zunächst eher für wen und in welchem Zeithorizont – für mich, meine Kinder, die Spezies Mensch – gibt es Gründe zur Sorge, wenn kein Umdenken stattfindet, das die Tiefe des technologischen Einschnitts anerkennt? Der Buchdruck hat ein paar Jahrhunderte massive Transformationen, Bürgerkriege, Religionskriege usw. provoziert und erst dann eine völlig neue Welt mit Nationalstaaten und Aufklärung gebracht. Das war kein gewaltfreier Transformationsprozess. Wo setzt man zur Analyse an, um ein Urteil wie „schön“ zu treffen? Ich bin ja kein Futurologe! Aber wenn Sie mich persönlich fragen, würde ich sagen, es gibt Grund zur Annahme, dass es vehemente Verwerfungen in den nächsten 50 Jahren geben wird. Schätzungen sprechen von 800 Millionen Menschen, die ihren Geburtsort oder ihren Wohnort wechseln müssen auf Grund massiver Beeinträchtigungen durch Klimaveränderungen. Das betrifft die Grundlagen unserer politischen Selbstverständnisse. Und da spielt die Digitalisierung hinein, denn vergessen wir nicht: Die demokratisch-liberalen Nationalstaaten sind mit dem Buchdruck entstanden und möglicherweise verschwinden sie in dieser Form auch wieder mit der digitalen Medienrevolution. Danach kommen nicht unbedingt wieder Feudalherrschaft oder Faschismen, aber möglicherweise etwas anderes, aber mutmaßlich grundsätzlich Neues, das wir noch gar nicht absehen können. 

AA: Mich hat zunächst interessiert, dass das Flüchtige ja quasi eine jahrtausendelange anthropologisch-kulturelle Konstante ist. Hinzu kommt dann dieses Klischee, dass alles mit der Moderne immer flüchtiger und dann noch schneller wird. Daran knüpfen auch nostalgische Theoreme von der Entschleunigung oder Achtsamkeit an. Mich hat interessiert, ein Gegennarrativ zu entwickeln: Die Moderne thematisiert Flüchtigkeit auf einmal völlig neu, auf diversen ästhetischen, ökonomischen, technologischen Ebenen wird Flüchtigkeit virulent und auf einmal auch sehr positiv konnotiert. Denn zugleich, ohne dass es den Protagonisten immer wirklich ausreichend bewusst ist, entstehen parallel dazu effiziente Techniken, um diese Flüchtigkeit profitabel und fruchtbar zu machen, sie künstlerisch zu nobilitieren etc. Die Digitalisierung spielt da eine fundamentale, aber spätere Rolle. Die gefühlte Beschleunigung kommt nicht erst mit ihr in die Welt. Sie greift vielmehr diese Dialektik zwischen einer beschleunigten, also zwischen einer immer vehementer verflüchtigten Welt auf, auf die wiederum stets mit Entflüchtigungen reagiert wird. Diese – im emphatischen Sinne moderne – Flüchtigkeit wird nur durch eine solche Doppelbewegung von Verflüchtigung und Entflüchtigungverstehbar, es ist nicht nur das eine oder das andere. Das lässt sich prinzipiell auch an Digitalisierung zeigen. 

AA: Grundsätzlich ist Verantwortung an eine Kontrollmöglichkeit gekoppelt. Es bedarf eines bestimmten Wissens und einer bestimmten zeitlichen Kongruenz. Und das ist in vielen Fällen fragwürdig. Was andersherum nicht heißt, dass die schweren Verwerfungen, die wir in den letzten Jahren erleben, auch infolge der Finanzkrise 2007/8 und der darauffolgenden finanzpolitischen Maßnahmen, also Austeritätspolitik, Sparmaßnahmen usw., nicht auch Verantwortungsträger kannte. Es waren nur scheinbar außer Kontrolle geratene, nicht mehr verantwortbare Finanzierungsmodelle. Es gab sehr wohl Verantwortlichkeiten dahinter, die man hätte erkennen können oder Lehren, die zu ziehen wären, wenn der finanzpolitische Willen dazu existierte.
Vielleicht kann man es so sagen: Es wird zeitlich komplizierter. Die demokratische Überprüfbarkeit wird komplexer und nimmt größere Zeit in Anspruch. Das heißt, die Kontrollmechanismen sind oft nicht mehr so schnell wie die entstehenden Probleme. Im Finanzsektor etwa haben wir eine ungeheure Schnelligkeit, Trading und Finanzkonstruktionen, die auch, um den Beginn ihrer Fragen nochmal aufzunehmen, sehr stark aus der Zukunft operieren, die zukünftige Preisannahmen machen etc. Zugleich haben wir in einem anderen, tieferliegenden Problembereich in unserer Gesellschaft zu tun, nämlich mit Blick auf den Klimawandel so etwas, das auch slow violence genannt wird wie Massensterben oder Ansteigen von Meeresspiegel, die sich eben nicht plötzlich und medienwirksam vor unseren Augen vollzieht. Wir haben es hier mit Verbrechen und Gewaltphänomenen zu tun, mit denen wir uns schwertun, sie als solche zu erkennen, weil sie sich nicht in singulären Akten, in augenscheinlichen Brutalitäten äußern, sondern sich über Jahrzehnte entwickeln. Sobald gesellschaftlich durchgesickert ist, dass da ein Problem möglicherweise im Entstehen ist, ist es schon nicht mehr aufzuhalten. Angstvoll starren wir dem entgegen und wissen nicht, wann das und welche Konsequenzen das haben, wann es überhaupt begonnen haben könnte. Hat das Anthropozän vor 50 Jahren oder vor 150 Jahren oder mit der Kolonialisierung Amerikas begonnen bzw. Schon der kulturellen Nutzung des Feuers begonnen? Unklar ist auch, wer die Verantwortlichen sind: Ist es der Kapitalismus? Ist es unsere Konsumsucht? Ist es die abendländische Rationalität? Wer kann darauf antworten? Wer ist unser Ansprechpartner in der Vergangenheit? Und wem gegenüber haben wir Verantwortung in der Zukunft? Auf welche Zukunft hin planen wir? Drei Generationen oder dreißig? Wir sind auf einmal mit einem völlig veränderten Zeithorizont beschäftigt. 

AA: Ja, eine ungeheure Schnelligkeit, eine extreme Langsamkeit – die tiefenzeitlichen Horizonte reichen mehrere hundert Jahre zurück. Und wie viele Jahrhunderte, Jahrtausende, Jahrmillionen „planen“ wir in die Zukunft bzw. sind wir verpflichtet zu planen, nachdem wir nunmehr wissen, dass all unser Handeln solche tiefenzeitlichen Konsequenzen hat oder haben kann?

AA: Wir müssen lernen, dass beides nicht mehr zu trennen ist. Das ist die nicht nur zeitphilosophische Aufgabe unserer Generation, die wir mit der Digitalisierung in den letzten Jahrzehnten ein so konkretes und ungeheures Wissen über den Planeten und seine Entwicklung gesammelt haben. Das ist wirklich ungeheuerlich! Wir wissen besser als nie, was die letzten viereinhalb Milliarden Jahre passiert ist und wir wissen relativ viel von dem, was sich in den nächsten Jahrhundertmillionen möglicherweise wie entwickelt. 

AA: Meine These – nicht nur meine, aber auch meine These ist: Es ist kein Zufall, dass sie gleichzeitig auftreten. Da sind zunächst mal der sehr wichtige, aber noch oberflächliche Aspekt, dass die Digitalisierung, insbesondere die KI zu einem Umweltfaktor oder Umweltproblem wird, allein durch die enormen Energieressourcen, die sie verschlingt. Das wäre ein eigenes Thema für sich. Und vieles von dem, was zur Entstehung von Digitalisierung und KI beigetragen hat – denken Sie nur an die Materialien und die geologischen Veränderungen – ist für den Klimawandel mitverantwortlich. 
Auf der anderen Seite wüssten wir gar nicht in dieser Weise etwas über den Klimawandel, hätten wir nicht diese digitalen Instrumente. Wir müssen erst einmal lernen, was es heißt, den Planeten zu bewohnen (so lautet ja die Einstiegsfrage aus Daniel Falbs und meinem aktuellen Buch Planeten Denken), das heißt, ein so weitreichendes Wissen um seine Veränderlichkeit zu entwickeln, wie wir es heutige erstmals haben. Denn wir wissen davon ja überhaupt nur, weil der Planet überzogen ist von Milliarden an Sensoren, künstlichen Intelligenzen etc., die Dinge beschreiben, wahrnehmen, erkennen, die uns ansonsten entgehen würden bzw. dem homo sapiens bislang verborgen geblieben waren, der von einer wundersamen von Gott für ihn eingerichteten oder stabilen Natur oder Klima ausging (das ökologische Denken ist da weiterhin hemmungslos theologisch oder metaphysisch und jedenfalls anthropozentisch). Erst die digitalen Mittel geben uns die Möglichkeit, einen Klimawandel wahrzunehmen, von ihm zu sprechen, oder gar für ihn die Verantwortung übernehmen zu können inklusive der Einsicht, dass Klima sich immer schon verändert und es uns Menschen überhaupt nur dank von uns mitverursachter planetarischer Trancormationen gibt wie einem entsprechenden CO2-Level etc. 

AA: Ja, es gibt Theoretiker, die diese diabolische Frage gestellt haben: War es das wert, das zu erkennen? Dass wir all das anstellen, was wir anstellen als Menschheit, um letztlich nur zu erkennen, dass wir fähig sind, etwas derartig Weitreichendes anzustellen? Ich denke wiederum, man müsste das mit Blick auf die Zukunft beantworten: Wir wissen, was unser Potenzial, was unser Beitrag zur Klimaveränderung ist. Es gibt eine bestimmte Tendenz, die das Leben hat, nämlich sich exzessiv auszubreiten auf Kosten anderer Spezies – inklusive der eigenen (dass es schon frühere mass extinctions gab, darf freilich keinesfalls unser skandalöses Handeln oder Nichthandeln heute entschulden). Aber wir sind vielleicht die ersten, die faktisch darum wissen. Nun muss man sich fragen: Was machen wir mit dieser Einsicht? 

AA: Ja, wir könnten jetzt mit Kant und der Aufklärung argumentieren. Denn das ist schon ein entscheidendes Moment der Aufklärung: Die Frage, ob wir diese Aufklärung über uns und was Leben ausmacht, verkraften können. Ob wir das, was wir getriggert haben, auch verantworten können. Wir wissen um die Klimaveränderung dank der Digitalisierung und künstlichen Intelligenzen, die einen Beitrag zu den Problemen leisten. Leugnen wir es weiter oder kommt das Wissen in unserer Gesellschaft, in unseren politischen Institutionen, in unseren Planungsoperatoren von nun an wirklich vor? Bleibt es doch nur ein abstraktes Interview oder ein Buch oder beginnt es politisch intelligentes Handeln zu informieren? Stand Sommer 2024 müssen wir sagen: Dieses Wissen ist noch nicht in der Gesellschaft wirksam und also nicht wirklich angekommen. 

AA: Fürsorge, Nachhaltigkeit, Regulation, das sind aber alles Modelle, die von der Hoffnung getragen sind, dass es noch irgendwie so weitergeht, innerhalb des von uns so geschätzten bzw. Für uns im globalen Norden so vorteilhaften Paradigmas. Mit mehr Elektroautos, mehr grünem Strom etc. So hat unser liberales, sogenanntes demokratisches Modell funktioniert. Man produziert Innovationen, die werden sich schon noch durchsetzen und nachhaltige Energie produzieren und nachhaltige Produktionsprozesse hervorbringen. Die Lebensstandards werden haltbar sein. Doch was, wenn nicht? Ich möchte nicht super pessimistisch auftreten, man darf weder in Dystopismus noch in einen Technokratismus verfallen, sonst können wir die Verantwortung an die künstlichen Intelligenzen abgeben. Aber zur Wahrheit zählt: Unser status quo wird unmöglich haltbar sein. Wir müssen andere Formen von Überleben produzieren. Wäre es dafür nicht notwendig, sich langsam von diesen Illusionen des nachhaltigen, fürsorglichen Handelns abzuwenden? Zugespitzt formuliert: „Nachhaltigkeit“ ist das Opium für das Volk. 

AA: Wir wissen, dass wir 2050 ein paar 100 Millionen Klimaflüchtlinge haben. Es ist anzunehmen, dass wir 2063 einen Höhepunkt an Bevölkerung auf dem Planeten haben. Wir wissen ungefähr, wie viel Fläche uns auf der Erde zur Verfügung steht. Unserer nebenbei bemerkt niemals einfach natürlichen oder künstlichen Intelligenz steht ein schier endloses Zukunftswissen zur Verfügung. Nur warum hat das so wenig Einfluss auf unser Handeln? Denn das wäre der entscheidende Horizont! Natürlich ist es sehr kompliziert. Natürlich gibt es sehr viele Faktoren, die wir nicht abschätzen können. Das ist, was ich  „Hyper-Antizipation“ nenne: Dass wir ständig bombardiert werden und ich Sie jetzt bombardiere mit, 2050 wird das sein, 2063 wird möglicherweise der Höchststand an Bevölkerung auf dem Planeten sein, 2035 könnte ein tipping point erreicht sein etc. Wir stecken permanent im antizipatorischen Paradigma. Aber auf der anderen Seite ist es doch fulminant, das zu wissen und diese Probleme zumindest angehen zu können. Die Temperaturen werden steigen und nicht aufhören zu steigen bei 1,5 Prozent, weil wir bereits dort angekommen sind. Mit der „Nachhaltigkeit“ wird es jedenfalls nicht funktionieren. 

AA: Nein, ich sage ja nicht, die Menschheit wird aussterben. Einstweilen werden wir ja mehr. Und bei allen Verbrechen und all der Verantwortungslosigkeit, die die Menschheit verursacht, auch gegenüber anderen Spezies, ist von einem Unlebbarwerden des Planeten überhaupt nicht zu sprechen. Dem widersprechen ja die Zahlen. Wie kann eine Gattung, die sich in 100 Jahren verdreifacht hat und alle zwölf Jahre noch eine Milliarde zulegt, davon sprechen, dass ihr Planet für sie unlebbar wird. Wir nennen das in unserem Buch „Habitabilitätseskalation“. Aber es gibt ein großes Problem, dass wir diese absehbaren, massiven Veränderungen nicht einpreisen in unser Handeln, weder als Individuen noch als Gesellschaft noch als planetarische Gemeinschaft. Das ist einfach ein Versagen. Und es ist verantwortungslos. Statt für 10 Milliarden Menschen auf einem sich absehbar verändernden Planeten zu planen, bauen wir Mauern zwischen Nationalstaaten und wollen unseren Kontinent abschotten.

AA: Man kann sagen, das ist vielleicht die Dummheit der Spezies. Sie kann mit exponentiellen Entwicklungen und mit bestimmten Zeithorizonten einfach nicht umgehen. Aber ich glaube nicht an die Spezies. Ich glaube nicht an den Menschen. Ich glaube an die Intelligenz. Und das ist 2024 eine von sogenannter künstlicher oder maschineller Intelligenz mitbefeuerte Intelligenz. Es wird nicht möglich sein, nachhaltig dafür zu sorgen, dass der Meeresspiegel da bleibt, wo er ist (wenn er in der tiefenzeitlichen Vergangenheit vermutlich schon hunderte Meter höher und tiefer war). Aber es könnte doch möglich sein, einem Vielfachen der Menschen, die vor 500 Jahren auf dem Planeten gelebt haben, ein gutes Leben zu ermöglichen. Auch wenn sehr viele Lebenszonen, die wir heute kennen, für Jahrhunderte oder Jahrtausende nicht mehr bewohnbar sein werden. 

AA: Es gibt einen radikalen Ansatz, der mir immer sehr abstrakt schien. In der französischen Nachkriegsphilosophie, etwa bei Levinas und Derrida, taucht ein Prinzip einer radikalen Verantwortung auf. Einer Verantwortung, der man nie gerecht werden kann – die nicht gegenüber den Menschen gilt, die man liebhat, der Familie usw. – sondern dem absolut Fremden. Ich habe viel darüber nachgedacht, was es heißt, seinen Kindern gegenüber, auch solchen, die man noch gar nicht hat, Verantwortung zu übernehmen.
Der Sache der radikalen Alterität gegenüber Verantwortung zu zeigen, gerade weil sie einem nichts zurückverspricht, weil es einem nicht zurückgeben kann oder will oder weil es sie möglicherweise nie geben wird. Diese radikale, wenn man so will, tiefenzeitliche Perspektive der Verantwortung ist für mich sehr konkret geworden mit Blick auf die Phänomene, über die wir hier sprechen. 

AA: Also im Dienste der Deutlichkeit und für ein zugespitztes Finale: Diese Begriffe sind Teil einer Denkweise, die uns systematisch den Sinn vernebelt, was der wirkliche Zeithorizont ist. Die Vorstellung, dass die Natur von den bösen Menschen verantwortungsloserweise verändert wurde und wir jetzt wieder dafür sorgen müssen, dass diese arme Natur wieder so wird, wie sie vorher war, damit es uns wieder gut geht, ist aus Sicht von allem, was wir astrobiologisch und physikalisch wissen, völlig falsch gedacht. Es hindert uns auch daran, diese massive evolutionäre Transformation, in der wir uns befinden, voll zu begreifen. 
Ich würde mir wünschen, dass wir beginnen anders zu denken, zu schreiben, zu leben und zu handeln, auch politisch, und zwar im Angesicht dieses spekulativen Horizonts aus der Zukunft. Zurückschrauben geht nicht, so hat das in der Evolution nie funktioniert.

Avanessian, Armen (2024): Verantwortung heißt Spekulation. In: Verantwortungsblog. https://zevedi.de/verantwortung-heisst-spekulation/ [25.10.2024]. https://doi.org/10.60805/zdvq-gt48.

Kategorien
Akzentfarbe: Blau (Neuhäuser-Text) Autor: Christian Neuhäuser Uncategorized Verantwortungsblog

Philosophische Grundlagen von Corporate Digital Responsibility und Responsible AI. Ein kritischer Systematisierungsvorschlag

Philosophische Grundlagen von Corporate Digital Responsibility und Responsible AI
Ein kritischer Systematisierungsvorschlag

Responsible AI, Corporate Digital Responsibility – diese und andere, auf die Verantwortungsfrage hindeutende Begriffe werden an Unternehmen, die den digitalen Wandel maßgeblich vorantreiben, nicht nur herangetragen, sie tragen sie auch vor sich her. Handelt es sich dabei um bloße Buzzwords oder halten sie der philosophischen Betrachtung stand? Was ergibt sich aus dieser Betrachtung?

Von Christian Neuhäuser | 10.10.2024

Eine Waage mit vier Schalen.
Erstellt mit Adobe Firefly. Prompt: „painting in the style of expressionism: a geometric network forming a scale; colors: blue, yellow, green“

Eine wichtige Aufgabe der Philosophie besteht darin, neue soziale Entwicklungen zugleich wohlwollend und kritisch zu begleiten. In gegenwärtigen Gesellschaften sind der Ausbau einer Digitalwirtschaft und der Fortschritt künstlicher Intelligenz offensichtlich solche Entwicklungen. Im öffentlichen Diskurs wird viel über Corporate Digital Responsibility und Responsible AI gesprochen (Dörr 2000; Gehring 2023; Almeida 2024). Die Tatsache, dass die Kernbegriffe als Anglizismen erhalten bleiben, soll wie in der Wirtschaft üblich eine gewisse Dynamik und Fortschrittlichkeit zum Ausdruck bringen. Aus philosophischer Sicht interessanter ist die zentrale Rolle des Verantwortungsbegriffs. Von Verantwortung ist gerade in wirtschaftlichen Kontexten eigentlich immer dann die Rede, wenn einerseits große Gefahren ausgemacht werden und andererseits eine Regulierungslücke in dem Sinne besteht, dass gesetzliche Vorgaben diese Gefahren nicht hinreichend einhegen und manchmal auch nicht hinreichend einhegen können.

Der philosophische Beitrag zu Debatten um solche Konzepte wie Corporate Digital Responsibility und Responsible AI besteht nicht darin, den Verantwortungsbegriff als philosophischen Begriff reklamieren zu können. Verantwortung ist zuerst ein praktischer und dann ein philosophischer Begriff (Maring 2010). Der Beitrag der Philosophie besteht auch nicht in einer normativen oder gar moralischen Richterfunktion (Neuhäuser/Seidel 2022). Zwar neigen nicht wenige Philosoph:innen dazu, sich selbst diese Rolle zuzuschreiben und nicht selten wird sie auch angenommen. Aber eigentlich haben Philosoph:innen keine besonderen moralischen Hoheitsrechte. Ihre Rolle ist bescheidener und beinhaltet zweierlei: Erstens besteht sie in Systematisierungen, in denen im besten Falle detaillierte Analysen und differenzierte Phänomenbeschreibungen zusammenkommen. Das kann den Blick auf neue Herausforderungen, Chancen und Probleme schärfen. Zweitens können Philosoph:innen vor dem Hintergrund einer jahrtausendealten Tradition normative einschließlich moralischer Empfehlungen und Ratschläge liefern, die allerdings auch als solche zu verstehen sind.

Zu beidem sollen die folgenden Überlegungen zu Corporate Digital Responsibility und Responsible AI einen Beitrag liefern. Den Ausgangspunkt dafür bildet eine Explikation des Verantwortungsbegriffs als vierstellige Relation (Lenk 1991). Damit ist schlicht gemeint, dass der Verantwortungsbegriff in praktischen Kontexten sehr häufig vier Aspekte miteinander verbindet, die sich in vier Fragen formulieren lassen: 1. Wer ist verantwortlich? 2. Wofür besteht Verantwortung? 3. Was sind die normativen Maßstäbe dieser Verantwortung? 4. Wem gegenüber besteht diese Verantwortung? Es sind noch weitere Relationen denkbar, aber dies sind sicherlich die wichtigsten (Sombetzki 2014). Alle vier Fragen mithilfe einer philosophischen Methodik auf die Begriffe der Corporate Digital Responsibility und der Responsible AI anzuwenden, kann dabei helfen, diese Konzepte zu schärfen, aber auch ihre gegenwärtigen Schwächen aufzudecken. In diesem Text kann dies nicht umfassend, sondern nur beispielhaft und schlaglichtartig geschehen. Aus Platzgründen beschränken sich die folgenden Überlegungen auf die erste, dritte und vierte Frage. Dabei soll ein Augenmerk auf Lücken im gegenwärtigen Diskurs liegen.

Die Formulierung „responsible AI“ legt nahe, dass die künstliche Intelligenz selbst eine Verantwortung besitzt. Unter gegenwärtigen Bedingungen spricht jedoch wenig dafür, dass KI über Verantwortungsfähigkeit verfügt (Coeckelbergh 2020). Sie kann nicht selbstständig nach normativen Kriterien verschiedene Handlungsalternativen gegeneinander abwägen, sondern nur nach vorgegebenen Regeln entscheiden. Da sie jedoch neue Algorithmen und Routinen auf der Grundlage vorgegebener Regeln entwickeln kann und die Verlaufspfade unter Umständen nicht mehr nachvollziehbar sind, entsteht eine Verantwortungslücke: KI selbst besitzt nicht die Fähigkeit, eigenverantwortlich zu entscheiden. Selbst Entwickler:innen können die Entscheidungen von KI manchmal nicht mehr nachvollziehen (Almeida 2024). Daraus entsteht eine normative Frage höherer Ordnung: Wann sind Verantwortungslücken akzeptabel und wann sind bestimmte Entwicklungen von KI, die zu solchen Lücken führen, nicht zu verantworten? In einem Kraftwerk ist eine Verantwortungslücke sicherlich nicht akzeptabel, bei personalisierter Werbung im Onlinehandel vielleicht schon. Die zentrale Frage lautet aber: Wer soll das entscheiden?

Das Konzept von Corporate Digital Responsibility soll darauf eine Antwort liefern. Die Idee ist stark an den älteren Begriff von Corporate Social Responsibility angelehnt (Dörr 2020). Der Idee zufolge haben Unternehmen dann eine Verantwortung für soziale oder eben nunmehr auch digitale Belange, die über gesetzliche Vorgaben hinausgehen. Die digitale Verantwortung geht weiter als eine Verantwortung für KI und deren Entscheidungen, schließt das aber mit ein. Hinzu kommen noch weitere wichtige Bereiche. Dazu zählen beispielsweise die Auswirkungen der Digitalisierung auf die Arbeitswelt und vor allem einen möglichen Verlust zahlreicher Arbeitsplätze. Hinzukommt auch das geringe Vertrauen von Verbraucher:innen in digitale Prozesse und insbesondere die Furcht vor Überwachung. Dazu zählen auch mögliche Auswirkungen auf die Umwelt und die Frage der Nachhaltigkeit. All diese Dinge sind unter dem Konzept Corporate Digital Responsibility zusammengefasst (Dörr 2020).

Darüber hinaus bleiben jedoch viele grundlegende Fragen offen. Die erste dieser Fragen betrifft wieder den Akteur der Verantwortung. Sind mit „Corporate“ die Unternehmen selbst gemeint oder vielmehr nur individuelle Akteure, die im Unternehmenskontext agieren, wie beispielsweise Top-Manager:innen? In der wirtschaftsnahen Literatur wird diese Frage oft gar nicht erwähnt oder nur am Rande gestreift und bleibt weitgehend ungeklärt. Doch sie ist wichtig. Denn aus philosophischer Sicht spricht viel dafür, dass Unternehmen selbst verantwortungsfähige Akteure sein können, weil sie über die dafür notwendigen Eigenschaften verfügen (List 2022). Wenn das stimmt, entsteht jedoch sofort die Folgefrage, welche Verantwortung ihnen zukommt, welche Verantwortung einzelne Akteure oder Akteurs-Gruppen haben und wie sich diese verschiedenen Verantwortlichkeiten zueinander verhalten. Bleibt diese Folgefrage ungeklärt, entsteht schnell eine Verantwortungsdiffusion. Das Konzept von Corporate Digital Responsibility läuft dann Gefahr, ähnlich wie vor einiger Zeit schon das Konzept Corporate Social Responsibility zu einem bloßen Buzz-Wort zu werden und eher dem „white washing“ zu dienen, als echte Arbeit zu leisten.

Ähnlich wie bei Corporate Social Responsibility wird durch das „Digital“ in Corporate Digital Responsibility bestimmt, um welchen Verantwortungsbereich es geht. Er betrifft die Entwicklung digitaler Technologien und die sich daraus ergebenden Herausforderungen für die Gestaltung der Arbeitswelt, der Konsumsphäre und der Nachhaltigkeit, aber auch von solchen Bereichen wie Unternehmensprozessen, Zielsteuerungen und Produktdesigns (Dörr 2000; Bertelsmann Stiftung u.a. 2020). Der Begriff Responsible AI ist demgegenüber besonders vage, aber wahrscheinlich noch breiter angelegt (vgl. z.B. IBM 2024; PwC 2024a). Offen bleibt in beiden Formulierungen, welche normativen Maßstäbe für die Bestimmung von Verantwortung angelegt werden. Oft wird auf die Idee der Nachhaltigkeit als Verbindung sozialer, ökonomischer und ökologischer Belange hingewiesen. Digitale Entwicklungen sollen dann in diesen Bereich eingebunden werden. Gleichzeitig wird nach einem Business Case für die Verantwortungsübernahme gesucht. Sie soll sich also ökonomisch lohnen oder zumindest keinen ökonomischen Schaden anrichten (Dörr 2020; Bertelsmann Stiftung u.a. 2020; ConPolicy 2024).

Bei Lichte betrachtet werden dabei jedoch alle anderen Belange einem ökonomischen Maßstab untergeordnet. Das alte Prinzip von der Gewinnmaximierung bleibt so systembeherrschend. Mit echter Verantwortung hat das jedoch nur wenig zu tun. Analytisch betrachtet treffen im Wirtschaftssystem verschiedene Verantwortungsformen je nach normativem Maßstab aufeinander (Neuhäuser 2016). Dazu gehört eine rechtliche Verantwortung, sich an geltende Gesetze zu halten. Dazu gehört auch eine politische Verantwortung, zu allgemeinverbindlichen Regulierungen zu kommen, wo es sie noch gibt. Fraglos gehört dazu auch eine ökonomische Verantwortung, effizient und langfristig wirtschaftlich zu sein. Vor allem gehört dazu aber eine moralische Verantwortung, negative Pflichten nicht zu verletzen und positive Pflichten zu erfüllen (Nida-Rümelin 2011). Negative Pflichten bestehen darin, keinen Schaden anzurichten, beispielsweise durch Überwachungstechnologien oder die Verdrängung von Menschen in den ökonomischen Ruin. Positive Pflichten bestehen darin, Hilfe zu leisten, wo dies angebracht ist, beispielsweise indem auf big data beruhendes medizinisches Wissen allgemein zur Verfügung gestellt wird.

Nun haben dem üblichen Verständnis nach moralische Pflichten gegenüber anderen Verantwortlichkeiten einen Vorrang (ebd.). Mit einer rechtlichen Verantwortung stehen sie im günstigen Fall im Einklang, aber mit politischen und ökonomischen Verantwortungen gibt es häufig Konflikte. Es ist aufgrund von Marktmacht für die riesigen digitalen Unternehmen aus den USA möglich, bestimmte politische Entscheidungen einfach zu erzwingen. Aber das ist moralisch offensichtlich falsch, weil undemokratisch (Zuboff 2018). Es ist auch möglich, digital erworbenes Wissen teuer zu verkaufen, insbesondere wenn es lebensnotwendig ist. Aber auch das ist moralisch wahrscheinlich falsch, weil es etwa im medizinischen Kontext im Konflikt mit der Menschenwürde steht. Hier geht es nicht um die Frage, ob die moralischen Urteile in den Beispielen mit Sicherheit zutreffen. Das wäre ausführlich zu zeigen. Es geht allein darum, dass moralische Verantwortung einer ökonomischen und politischen Verantwortung prinzipielle Grenzen auferlegt. Genau das wird in Konzepten wie Corporate Digital Responsibility und Responsible AI systematisch übersehen. Stattdessen ist davon die Rede, dass diese Verantwortungsübernahmen freiwillig seien. Wenn damit nur gemeint wäre, dass sie rechtlich nicht vorgeschrieben sind, dann wäre das auch in Ordnung. Aber sehr häufig wird so getan, als sei sie ganz beliebig. Daher kommt auch die Überzeugung, dass sie leicht einem ökonomischen Imperativ untergeordnet werden können. Das ist jedoch ein Ausverkauf der Moral. Sie ist nämlich nicht beliebig, sondern verbindlich.

Oft wird die Frage nicht adressiert, gegenüber wem eine Verantwortung für digitales Wirtschaften und das Handeln von KI besteht. Die implizite Annahme scheint dann zu sein, dass individuelle Manager:innen rechtlich dem Rechtssystem, wirtschaftlich den Eigentümer:innen oder Märkten und politisch ihren Kolleg:innen gegenüber verantwortlich sind. Moralisch hingegen sind sie nur ihrem Gewissen verpflichtet. Vielleicht liegt das daran, dass solche Konzepte häufig im Kontext von Beratungsliteratur auftauchen und sich Berater:innen dann als gewissermaßen externalisiertes Gewissen von Manager:innen anbieten (Dörr 2020; ConPolicy 2024). Sollte sich dieser Verdacht erhärten, dann wäre das jedoch dem Vorwurf eines modernen Ablasshandels ausgesetzt. Die Berater:innen lassen sich dann vielleicht dafür bezahlen, ein gutes Gewissen zu liefern.

Wenn das Thema doch aufkommt, dann ist schnell der Stakeholder-Ansatz zur Stelle (Freeman 2010). Demgegenüber müssen alle möglichen Stakeholder eines Unternehmens oder eines KI-Handelns in einen Diskurs eingebunden sein, weil ihnen gegenüber eine Diskursverantwortung besteht. Das ist einerseits ein Fortschritt, weil dann beispielsweise die User einer KI zu Wort kommen oder die Anwohner:innen eines Unternehmensstandorts. Gleichzeitig bleiben in diesem Ansatz jedoch auch viele Fragen offen (Neuhäuser 2016). Wer entscheidet, wer Stakeholder ist? Wer entscheidet, wer wirklich gehört wird und wer nicht? Vor allem aber: Was folgt daraus? Diskursverantwortung ist, wenn überhaupt, nur Teil eines sich Verantworten-müssens. Solange Stakeholder keine wirkliche Macht haben, Manager:innen und Eigentümer:innen von digitalen Unternehmen und KI zur Verantwortung zu ziehen, haben sie auch keine echte Verantwortung. Wenn es zutrifft, dass es bei der Digitalisierung der Wirtschaft um unsere Zukunft geht, dann stellt sich daraus unmittelbar die Frage, was echte Verantwortlichkeit verlangt. Vielleicht ist das nicht weniger als eine richtige Stakeholder-Demokratie in diesem Wirtschaftssektor.

Eine philosophische Reflexion auf den Diskurs um Corporate Digital Responsibility einschließlich Responsible AI zeigt, dass einige grundlegende Fragen weiterhin offen sind. Dabei handelt es sich nicht nur um Fragen von rein theoretischem und akademischem Interesse, sondern sie haben eine praktische und öffentliche Dimension. Die Bürger:innen haben einen Anspruch auf eine Klärung solcher Fragen wie diejenigen, wer eigentlich genau verantwortlich gemacht wird, welchen Stellenwert moralische Maßstäbe tatsächlich haben und wie die Verantwortung letztlich eingefordert wird. Diese Fragen nicht ehrlich zu beantworten, sondern wortreich zu umschiffen, schafft kein Vertrauen, sondern zerstört es. Zudem verspielt es auch guten Willen, weil sich die Menschen veräppelt vorkommen, und zwar zu Recht.

Bertelsmann Stiftung/Wittenberg-Zentrum für Globale Ethik (Hg.). Unternehmensverantwortung im digitalen Wandel. Gütersloh: Bertelsmann Stiftung 2020.

Coeckelbergh, Mark (2020): Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability. In: Science and Engineering Ethics 26 (4), S. 2051-68.

de Castro Almeida, Inês (2024): Responsible AI in the Age of Generative Models: Governance, Ethics and Risk Management. o.O.: Now Next Later AI 2024.

ConPolicy: Corporate Digital Responsibility, [Webseitentext 2024] https://www.conpolicy.de/themen/corporate-digital-responsibility. [29.05.2024].

Dörr, Saskia (2020): Praxisleitfaden Corporate Digital Responsibility: Unternehmerische Verantwortung und Nachhaltigkeitsmanagement im Digitalzeitalter. Berlin: Springer Gabler 2020.

Freeman, R. Edward et al. (2010): Stakeholder Theory: The State of the Art. Cambridge: Cambridge University Press 2010.

Gehring, Petra (2023): Transparenz, Erklärbarkeit, Interpretierbarkeit, Vertrauen: Digitalethische Doppelgänger des Verantwortungsbegriffs. In: Deutsche Zeitschrift für Philosophie 71 (2023), Heft 5. S. 629-645.

IBM: What is responsible AI? [Webseitentext 2024] https://www.ibm.com/topics/responsible-ai [27.05.2024].

Lenk, Hans (1991): Zwischen Wissenschaft und Ethik. Frankfurt am Main: Suhrkamp Verlag 1991.

List, Christian (2022): Group Responsibility. In: Dana Kay Nelkin/Derk Pereboom (Hg.): The Oxford Handbook of Moral Responsibility. New York: Oxford University Press 2022; S. 131-154.

Maring, Matthias (Hg.): Verantwortung in Technik und Ökonomie. Karlsruhe: Universitätsverlag Karlsruhe 2008.

Neuhäuser, Christian/Seidel, Christian (2022) Was ist Moralismus? Über Zeigefinger und den Ort der Moral. Stuttgart: Reclam 2022.

Neuhäuser, Christian: Unternehmensverantwortung. In: Heidbrink, Ludger/Langbehn, Claus/Loh, Janina (Hg): Handbuch Verantwortung. Wiesbaden: Springer VS 2016.

Nida-Rümelin, Julian: (2011): Verantwortung. Stuttgart: Reclam Verlag 2011.

PwC: responsible AI. [Webseitentext 2024a] https://www.pwc.de/de/risk-regulatory/responsible-ai [24.05.2024].

PwC: Corporate Digital Responsibility und Digitale Ethik, [Webseitentext 2024b] https://www.pwc.de/de/nachhaltigkeit/corporate-digital-responsibility-und-digitale-ethik [29.05.2024].

Sombetzki, Janina (2014): Verantwortung als Begriff, Fähigkeit, Aufgabe. Eine Drei-Ebenen-Analyse. Wiesbaden: Springer VS.

Zuboff, Shoshana (2018): Das Zeitalter des Überwachungskapitalismus. Frankfurt am Main/New York: Campus Verlag 2018.

Neuhäuser, Christian (2024): Philosophische Grundlagen von Corporate Digital Responsibility und Responsible AI. Ein kritischer Systematisierungsvorschlag. In: Verantwortungsblog. https://zevedi.de/philosophische-grundlagen-von-corporate-digital-responsibility-und-responsible-ai-ein-kritischer-systematisierungsvorschlag/ [10.10.2024]. https://doi.org/10.60805/a58k-r453

Kategorien
Akzentfarbe: Dunkelgrau Autor: Petra Gehring Uncategorized Verantwortungsblog

Immerhin noch die Menschenrechte. Die aus der Zeit gefallene Ethik der Gesellschaft für Informatik

Immerhin noch die Menschenrechte.
Die aus der Zeit gefallene Ethik der Gesellschaft für Informatik

Während viele Wissenschaftsdisziplinen seit langem Ethikstandards pflegen und auch Forschungs-Ethikkommissionen dort alle kritischen Forschungsprojekte begutachten, erwischt die Frage nach Forschungsethik die Informatik – jedenfalls in Deutschland – augenscheinlich auf dem falschen Fuß. Denn weder gibt es derzeit (für Forschungen, die sich zu Recht in jeder gesellschaftlichen Hinsicht als „disruptiv“ verstehen) informatische Ethikkommissionen noch besitzt überhaupt die Gesellschaft für Informatik Ethikstandards, in welchen etwa das Thema „KI“ vorkommt. Unsere Autorin hat nachgelesen.

Von Petra Gehring | 26.09.2024

Ein Wegweise in einem digitalisierten Raum.
Erstellt mit Adobe Firefly. Prompt: „signpost in a digital space, data streams, many directions; impressionist, minimalistic; colors: shades of gray“

Große Fachgesellschaften im Ingenieursbereich haben eine professionsethische Tradition. Man ist sich der Gefahren bewusst, für die man im Engineering Verantwortung übernimmt. So besitzen die Elektroingenieure und der Maschinenbau straffe Verhaltenskodizes, in einigen Ländern schon seit Ende des 19. Jahrhunderts. Und solche Kodizes werden auch weiterentwickelt. Ähnlich wie im medizinischen Standesrecht gibt es ein Sanktionssystem (Approbationen können entzogen werden), es gibt die Pflicht zum Whistleblowing für Zeugen von Fehlverhalten (mitsamt Schutzzusagen für Whistleblower) und mehr. Ebenso gibt es in vielen Fachdisziplinen forschungsethische Standards: Sobald Forschungsvorhaben Versuchspersonen einbeziehen, kritische Daten nutzen oder auch, wenn sogenannte „Dual Use“-Aspekte berührt werden könnten, kommt Forschungsethik ins Spiel. Fachlich einschlägige Ethikkommissionen bewerten dann Projektpläne, die die Rolle von Versuchspersonen und Datengebenden beschreiben, nicht aber eine professionsethische Pflichterfüllung einer Einzelperson.

Und in der in Deutschland so genannten Informatik, die in anderen Ländern zumeist Computer Science heißt?

„Die Gesellschaft für Informatik e.V. (GI) ist eine gemeinnützige Fachgesellschaft, die sich zum Ziel gesetzt hat, die Informatik in Deutschland zu fördern.“ So heißt es in der Wikipedia, die Homepage der GI selbst schildert es kaum anders: „Die Gesellschaft für Informatik e.V. (GI) ist mit rund 16.000 persönlichen und 250 korporativen Mitgliedern die größte und wichtigste Fachgesellschaft für Informatik im deutschsprachigen Raum und vertritt seit 1969 die Interessen der Informatikerinnen und Informatiker in Wissenschaft, Wirtschaft, öffentlicher Verwaltung, Gesellschaft und Politik.“ (GI 2024)

Ähnlich einer großen Ingenieursvereinigung ist man also öffentliche Interessensvertretung und wissenschaftliche Fachgesellschaft in einem. Und wer auf der Webseite nach „Ethik“ sucht, wird ebenfalls fündig: Die GI hat unter dem Titel Unsere Ethischen Leitlinien eine Art Professionsethik formuliert. Es handelt sich um ein Dokument, das in Form von Abschnitten bzw. Artikeln recht locker die humanistischen Ziele des Informatikberufs umschreibt. Überarbeitet wurde das Dokument, das von 1994 stammt, genau zweimal: in den Jahren 2004 und 2018.1 Dabei ist es kürzer geworden, und es sind nicht viel neue Themen hinzugekommen, sondern vor allem Dinge verloren gegangen. So betonte man bis 2004 die Notwendigkeit „Interdisziplinärer Diskurse“ in einem eigenen Abschnitt (§ 13). Die Fassung von 2018 thematisiert das nicht mehr. Das Adjektiv „interdisziplinär“ ist stattdessen an eine unauffällige Stelle der Präambel gerutscht.2 Ebenso ist die zuvor mehrmals aufgeführte Vorbildfunktion, die man erfüllen möchte, nur noch im Bereich „Lehren und Lernen“ erwähnt. Besonders interessant: das Schicksal des Stichwortes „Zivilcourage“. 1994 gibt es einen Abschnitt, der unter diesem Titel ermutigt, in Situationen, in denen Pflichten der GI-Mitglieder „gegenüber ihrem Arbeitgeber oder einem Kunden im Konflikt zur Verantwortung gegenüber Betroffenen stehen, mit Zivilcourage zu handeln“. (Art. 9, Fassung von 1994) Und 2004 werden die der Gesellschaft angehörigen Informatiker im betreffenden Abschnitt dazu ermuntert, falls ihre Pflichten „gegenüber Arbeitgebern oder Kundenorganisationen in Konflikt mit der Verantwortung gegenüber anderweitig Betroffenen stehen, mit Zivilcourage zu handeln“ (Art. 10, Fassung von 2004). Die geltende Fassung von 2018 zieht sich demgegenüber schlicht auf Art. 1 des Grundgesetzes zurück, womit Zivilcourage nurmehr im Falle von Grundrechtsverletzungen gefragt wäre: „Das GI-Mitglied tritt mit Mut für den Schutz und die Wahrung der Menschenwürde ein, selbst wenn Gesetze, Verträge oder andere Normen dies nicht explizit fordern oder dem gar entgegenstehen. Dies gilt auch in Situationen, in denen seine Pflichten gegenüber Auftraggebenden in Konflikt mit der Verantwortung gegenüber anderweitig Betroffenen stehen.“ (Art. 9, Fassung von 2018) Immerhin findet man jetzt – neu – einen vorsichtigen Hinweis auf Whistleblowing ergänzt: „Dies kann in begründeten Ausnahmefällen auch den öffentlichen Hinweis auf Missstände einschließen.“ (ebd.)  „Begründete Ausnahmefälle“ – das klingt allerdings so, als müsse man vor der Erwägung, zivilcouragiert zu agieren, zwecks rechtssicherer Begründung erst einmal ein Anwaltsbüro konsultieren.

Bei der Lektüre der Fassung von 2018 fällt ein – dann doch – neuer Art. 11 unter der Überschrift „Ermöglichung der Selbstbestimmung“ auf. Hier heißt es, GI-Mitglieder wirken auf die Beteiligung der „von IT-Systemen Betroffenen an der Gestaltung dieser Systeme und deren Nutzungsbedingungen hin“. Der Nachsatz, der dann folgt, ist nur ein einziger. Er lautet: „Dies gilt insbesondere für Systeme, die zur Beeinflussung, Kontrolle und Überwachung der Betroffenen verwendet werden können.“ Ganz offenkundig besagt er, im Umkehrschluss, nichts anderes, als dass mit dem Hinwirken auf die Beteiligung Betroffener etwaige ethisch-politische Bedenken von Informatikerinnen und Informatikern hinsichtlich Verhaltensbeeinflussung und Überwachung abgearbeitet und erledigt sind. Partizipation ersetzt Bewertung. Wobei nicht einmal Zustimmung der Betroffenen gefordert ist. Partizipation ersetzt aber auch die Frage nach Macht. Denn von der Professionsverantwortung für professionstypische Wissensvorsprünge – Betroffene sind Laien und können Techniken gerade nicht so tiefgreifend abschätzen wie der Experte – spricht dieser Artikel die Informatik mit einiger Nonchalance geradezu frei.

Stark verändern sich auch – abgesehen davon, dass im Dokument von 2018 die (zuvor ausführlichen) Begriffsdefinitionen verschwunden sind – über die drei existierenden Versionen hinweg die Präambeln, die den Leitlinien ein Stück weit ihren Status zuweisen. 1994 wünscht sich die GI, „daß berufsethische Konflikte Gegenstand gemeinsamen Nachdenkens und Handelns werden“; sie will „Mitglieder, die sich mit verantwortungsvollem Verhalten exponiert haben“, „unterstützen“ sowie „vor allem“ den „Diskurs über ethische Fragen in der Informatik mit der Öffentlichkeit aufnehmen und Aufklärung leisten“. Es würden zudem „Verfahren“ gebraucht, um „die Zusammenhänge zwischen individueller und kollektiver Verantwortung zu verdeutlichen“ und wohl auch für die Verantwortung selbst, was Einzelne zumeist überfordere. In diesem Sinne „binde“ sich die GI an die Leitlinien, heißt es zum Schluss.

2004 ist die Präambel um ihren letzten Absatz gekürzt: Die Sache mit den Verfahren und der individuellen und kollektiven Verantwortung fällt weg. Zu Anfang ist ein Verweis ergänzt, demzufolge man sich auf „allgemeine moralische Prinzipien, wie sie in der Allgemeinen Deklaration der Menschenrechte formuliert sind“ verpflichtet. 2018 finden wir dann an der Stelle, an der es früher um die Vielfalt von Lebensformen bzw. Lebensweisen ging (mit der das Handeln von Informatikerinnen und Informatikern „in Wechselwirkung“ stehe), einen neuen Text: „Die GI-Mitglieder setzen sich dafür ein, dass Organisationsstrukturen frei von Diskriminierung sind und berücksichtigen bei Entwurf, Herstellung, Betrieb und Verwendung von IT-Systemen die unterschiedlichen Bedürfnisse und die Diversität der Menschen.“ Die ersten beiden Versionen der Leitlinien enthielten überdies den Satz „Der offene Charakter“ „dieser Forderungen“ (1994) bzw. „der nachfolgenden Artikel“ (2004) werde „mit dem Begriff der Leitlinien unterstrichen“. 2018 finden wir hierzu einen ganz neuen, deutlich abschwächenden Kontext geschaffen: „Der offene Charakter der nachfolgenden Artikel macht deutlich, dass es keine abschließenden Handlungsanweisungen oder starren Regelwerke für moralisch gebotenes Handeln geben kann.“ (Präambel, Fassung von 2018). Hieran anschließend lässt sich eine interessante Bilanz ziehen: Während einerseits der Text der Leitlinie schrittweise immer stärker lediglich das als „ethisch“ anführt, was ohnehin geltendes Recht ist, wird andererseits unterstrichen, um Regel oder Handlungsanweisungen gehe es gerade nicht. Sondern lediglich um „moralisch gebotenes Handeln“. Entsprechend scheint auch die Frage nach Verfahren – ob nun Organisation des Dialogs mit der Gesellschaft oder so etwas wie eigene standesrechtliche Kommissionen und Instanzen – im Laufe der Zeit in den Hintergrund gerückt zu sein. War „Ethik“ in den 1990er Jahren soziale oder auch aufklärerische Verpflichtung und 2004 immerhin eine „Unterstützung“ für den Fall, dass man sich exponiert, so scheint sie 2018 im Wesentlichen auf das Bekenntnis zusammenzuschrumpfen, dass Informatikerinnen und Informatiker gewillt sind, sich an Grundrechte und einige andere der in Deutschland geltenden Gesetze zu halten.

Fragt man sich spezifisch nach der forschungsethischen Kultur der Informatik, hilft die Leitlinie kaum weiter, dabei scheint sie nach wie vor die einzige Regulation in Sachen Ethik zu sein,3 und auf deren partizipative Vergangenheit ist man auch stolz.4 Mit dem Stand „2018“ scheint man zufrieden. Dramatische Debatten über „KI“ geben der KI-Forschung – was Ethik und Qualitätssicherung angeht – interessanterweise ebenso wenig Impulse wie die breit geführte Debatte darüber, ob es im Bereich der Entwicklung von Algorithmen (nichtlernenden oder lernenden) so etwas wie Grundlagenforschung überhaupt noch gibt. LLM sind ja auch dafür ein Beispiel: OpenAI ist eine Firma, die aber für generische Forschung stand und auch öffentlich gefördert worden ist. Aus der vermeintlichen Grundlagenforschung wird nun quasi durch Umlegen eines Schalters plötzlich ein Produkt. Wenn dies so ist – und es geschieht im Fall von ChatGPT ja nicht zum ersten Mal – dann wirkt das auf die Grundlagenforschung an Algorithmen und Software, die zur Entwicklung mindestens beiträgt, zurück. Was dann eben auch ein Grund dafür ist, dass man sich in der Forschung nicht einfach drauf zurückziehen kann, dass man ja lediglich Grundlagen erforsche, und erst viel später und ganz weit weg beginne die Anwendungsrelevanz. Und damit dann auch das Kontrollinteresse der Gesellschaft.

Vergleiche zeigen, dass einerseits beispielsweise in den USA Fachgesellschaften deutlich detailliertere, strengere, häufiger aktualisierte und vor allem mit dem Hinweis auf Enforcement Procedures und Ethikkommissionen hinterlegte Ethikkodizes haben – man klicke etwa auf die Ethikinformationen der ACM.5 Auch die Förderorganisation NSF geht zum Thema ins Detail (vgl. National Academies 2022).

Andererseits scheint beispielsweise die deutsche Gesellschaft für Sprachtechnologie und Computerlinguistik gar keinen Ethikkodex zu besitzen und weist auch in Zeit großer Sprachmodelle (LLM) nicht auf eventuelle gesellschaftliche Debatten oder Konflikte hin. Dass auch die Gesellschaft für Informatik weder die neue EU-Gesetzgebung rund um Künstliche Intelligenz (Data Act, AI Act) noch die Debatte um den flächendeckenden Einsatz von KI-Tools seit der weltweiten Freischaltung von ChatGPT durch eine Aktualisierung ihrer Ethikaussagen beantwortet hat, zeigt schon das Erscheinungsdatum: Die Leitlinie wurde vor sechs Jahren zuletzt verändert.

Nun muss man nicht der Meinung sein, dass Ethikkodizes überhaupt etwas anderes sind als heiße Luft. Zumal, wenn sie sehr allgemein formuliert sind, jede Art von Regelcharakter ablehnen und auch auf Durchsetzungsinstrumente oder Sanktionsverfahren verzichten, fehlen ihnen die Merkmale, die etwa das ärztliche Standesrecht hat. Angewandte Ethik wiederum bleibt vielfach eher ein Feld des Palavers, dank welchem man sich an immer neue Tabubrüche eher gewöhnt, als disruptiver Technologieentwicklung wirklich Schranken zu setzen. Ethikkodizes verraten also vielleicht einfach nur, wie diejenigen ticken, die meinen, etwas Ethisches aufschreiben zu müssen, wobei sie kritische Aspekte dessen, was sie tun, jedoch im Grunde wenig interessieren. Sagen wir es also mal so: Auch in dieser Hinsicht – bei der Produktion einer bloß pflichtschuldigen Ethik – gehen in der deutschen Informatik die Uhren langsam. Ab und an entrümpelt man Begriffe, die aus älteren, engagierteren Zeiten kommen („fordern“, sich „mit verantwortungsvollem Handeln exponieren“, „Interdisziplinarität“, „Vorbild“ etc.). Ebenso greift man neue Buzz Words auf („frei von Diskriminierung“). Immerhin jedoch ist man stolz darauf, dass man – wie alle es tun sollten – die Würde des Menschen respektiert.

  1. Alle Dokumente findet man auf dem GI-Portal; vgl. GI 2018/2024. ↩︎
  2. Tatsächlich kann die adverbiale Wortstellung Kopfzerbrechen bereiten. In einer vernetzen Welt sei es (stets?) notwendig, „Handlungsalternativen im Hinblick auf ihre absehbaren Wirkungen und möglichen Folgen interdisziplinär zu thematisieren“ (Präambel, Fassung von 2018): Meint dies, die Foren der Thematisierung sollten interdisziplinäre sein (Dialog mit Expertinnen und Experten anderer Fachlichkeit), oder ist „interdisziplinär“ eine vom disziplinär Üblichen abweichende Weise des Thematisierens, so dass man sich etwa in verständlicher Sprache – aber nicht im Dialog mit anderen Fächern – zu den fraglichen Wirkungen und Folgen verhalten soll? Die Frage ist nicht so trivial, wie sie scheint, angesichts der unlängst rund um „KI“ mehrfach zu beobachtenden Neigung von Computerwissenschaftlern und IT-Unternehmern, sich über „Manifeste“ breit öffentlich zu äußern. Manifeste scheinen mir jedenfalls kein Dialogformat zu sein, um sich auf interdisziplinären Foren den Analysen und Ansichten anderer Wissenschaften zu stellen. ↩︎
  3. Hierzu ein Dank an die Kollegen Stefan Ullrich und Nicolas Becker, die mir im Juni 2024 auf Nachfrage per E-Mail erläutert haben, dass und wie die GI-Ethikthemen gewisse „normative Aussagen“ hier und da zwar trifft, im Prinzip aber eben doch ganz auf ihren einen, traditionsreichen Kodex setzt. ↩︎
  4. Der Entstehung des Kodex hat der daran beteiligte Wolfgang Coy einen Aufsatz gewidmet, der vor allem den ausführlichen Diskussionen ein Denkmal setzt (vgl. Coy o.D.); den Hinweis auf den Text verdanke ich wiederum Ulrich und Becker. ↩︎
  5. ACM 2021; vgl. auch die Enforcement Procedures von 2024, beschrieben unter https://ethics.acm.org/enforcement/ [9.6.2024]. Zwar hoch moralisch aber weniger spezifisch hingegen der Ethikkodex der Großvereinigung I3E (IEEE 2020). ↩︎

ACM (Association of Computing Machinery) (2021): ACM Code of Ethics and Professional Conduct. https://ethics.acm.org/ [9.6.2024]

Coy, Wolfgang (o.D.): Die ethischen Leitlinien der GI – ein langer Weg (zur dritten Version). https://gewissensbits.gi.de/ein-langer-weg/ [19.7.2024]

GI (Gesellschaft für Informatik) (2024): Über uns [Webseitentext]. https://gi.de/ueber-uns [9.6.2024]

GI (Gesellschaft für Informatik) (2018/2024): Unsere ethischen Leitlinien [Webseitentext]. https://gi.de/ueber-uns/organisation/unsere-ethischen-leitlinien/ [9.6.2024]

IEEE (Institute of Electrical and Electronical Engineers) (2020): Code of Ethics. https://www.ieee.org/content/dam/ieee-org/ieee/web/org/about/corporate/ieee-code-of-ethics.pdf [9.6.2024] National Academies (2022): Responsible Computing Research: Ethics and Governance of Computing Research and its Applications. https://www.nationalacademies.org/our-work/responsible-computing-research-ethics-and-governance-of-computing-research-and-its-applications [9.6.2024]

Gehring, Petra (2024): Immerhin noch die Menschenrechte. Die aus der Zeit gefallene Ethik der Gesellschaft für Informatik. In: Verantwortungsblog. https://zevedi.de/immerhin-noch-die-menschenrechte-die-aus-der-zeit-gefallene-ethik-der-gesellschaft-fuer-informatik/ [26.09.2024]. https://doi.org/10.60805/p4bz-xr52

Kategorien
Autor: Christian Grothoff Digitaler Euro eFin-Blog Farbe: hellblau Uncategorized

„Security through obscurity?” Die EZB und mögliche Design-Probleme des Digitalen Euro

„Security through obscurity?” Die EZB und mögliche Design-Probleme des Digitalen Euro

Christian Grothoff im Interview mit Eneia Dragomir – Teil 2

23. September 2024

Bezahlsysteme reichen weit in unseren Alltag hinein und werfen fundamentale datenschutzrechtliche Fragen auf. Wenn man solche Systeme konzipiert, sollte man so tun, als würde man sich selbst nicht über den Weg trauen, so Christian Grothoff. In Teil 2 des Interviews mit dem Experten für IT-Sicherheit und Taler-Initiator geht es um das Design einer CBDC sowie um mögliche Probleme des Digitalen Euro.

Herr Grothoff, das berühmte Bitcoin-White-Paper ist 2008 damit angetreten, die Banken, Zentralbanken und andere Third Parties aus dem Spiel zu nehmen. Taler will das nicht. Dennoch heißt es in einem Paper, die Zentralbanken sollten sich als böswillige Akteure imaginieren, wenn sie das System konzipieren. Warum?

Wir haben mit unserem Text auf ein Paper der Europäischen Zentralbank (EZB) geantwortet, in dem es sinngemäß hieß, wir sind eine öffentlich-rechtliche Institution, deswegen können Sie uns Ihre Daten anvertrauen, die EZB werde sie nicht verkaufen. Das erste Problem dabei: Die EZB ist keine rein öffentlich-rechtliche Institution. Das Eurosystem beinhaltet Griechenland und die griechische Zentralbank ist in privater Hand. Nicht alle Zentralbanken sind öffentlich-rechtliche Institutionen. Die Schweizer Nationalbank beispielsweise auch nicht. Sie hat zwar staatliche Aufgaben und ist staatlich reguliert, aber sie ist eine Aktiengesellschaft.

Das zweite Problem: Es ist schön, dass eine Behörde meint, dass sie zu den Guten gehört, aber vielleicht ist das irgendwann nicht mehr der Fall. Ich sollte daher mein System nie in der Annahme designen, dass ich zu den Guten gehöre. Wenn wir Systeme bauen, die so fundamentale Eingriffe ermöglichen, wie Bezahlsysteme, von denen die Wirtschaft abhängt, die aber auch in das Alltagsleben der Menschen hineinreichen, dann ist besondere Vorsicht geboten. Ich sollte immer den Fall berücksichtigen, dass ein Böser an meine Stelle tritt. Selbst, wenn ein Diktator an meine Stelle tritt, sollte nichts Schlimmes passieren können, selbst dann sollte der Datenschutz gegeben sein. Das ist der richtige Anspruch für das Systemdesign. Dass meine Daten verkauft werden, ist bei weitem nicht das größte Problem. Da sollte der Anspruch sein: Ich vertraue mir selbst nicht und baue das System entsprechend. So halten wir es auch mit dem Taler-System.

Wir laden alle ein, sich unser System anzusehen und nach Schwachstellen zu suchen: Alle Spezifikationen, der gesamte Quellcode, die gesamte Dokumentation, das ist im Netz für alle einsehbar. Alle können sich das ansehen und analysieren und Schwachstellen gerne veröffentlichen, damit wir sie beheben können. Es gibt bestimmt Fehler in der Software, aber maximale Transparenz ist das beste Mittel, das wir haben, um diese zu finden und zu beheben. Das macht die EZB leider anders: Der EZB-Sprecher wurde von einem unserer Mitarbeiter auf einem Forum in Wien gefragt, wie die EZB die Offline-Funktion des Digitalen Euro sicher machen möchte. Antwort: das ist geheim. „Security through obscurity?“, kommentierte mein Mitarbeiter. Sicherheit durch Geheimniskrämerei? Wikileaks und Edward Snowden haben gezeigt, dass selbst Geheimdienste nicht alle ihre Geheimnisse sichern können, aber der EZB wird das gelingen? Geheimhaltung bringt uns weder mehr Sicherheit noch eine vernünftige demokratische Kontrolle der Institution.

Wenn eine Zentralbank das Taler-Bezahlsystem nutzen würde, dann wäre es eine CBDC, also ein digitale Zentralbankwährung?

Genau, eine Retail-CBDC.

Sie haben in verschiedenen Papern die Pläne der EZB für den Digitalen Euro kritisiert. Das letzte ist 2022 erschienen. Gilt diese Kritik auch für den Verordnungsentwurf aus dem Juni 2023?

Auch die aktuellen Entwürfe sind schlecht. Ich sehe da ganz grundlegende Probleme: Der Digitale Euro, so wie die Pläne derzeit sind, bringt eigentlich niemandem einen Vorteil. Ein weiteres Bankkonto, nur diesmal bei der Zentralbank? Die meisten Menschen im Euro-Raum haben schon ein Bankkonto, als europäische Bürger haben wir ein Recht darauf. Brauchen wir ein weiteres Bankkonto? Mit 3.000 Euro Maximalguthaben und ohne Kredit? Bei meiner regulären Bank habe ich eine Einlagensicherung bis 100.000 Euro. In einem weiteren Konto sehe ich keinen Mehrwert.

Weiteres Problem: Für die Kunden sollen die Transaktionen kostenlos sein, für die Händler aber nicht. Für eine SEPA-Überweisung zahle ich heute auch schon nichts. Für die Händler, die dazu verpflichtet werden sollen, Digitale Euro anzunehmen, soll die Transaktion aber nicht kostenlos sein. Wer trägt die Kosten, die bei der Umstellung entstehen? Die Händler werden die Kosten auf die Preise umlegen. Millionen Händler im Euro-Raum werden diese Umstellung vornehmen müssen, innerhalb einer bestimmten Frist, die nicht allzu groß sein darf. Was werden dann die Dienstleister machen, die diese Umstellung vornehmen und die mit Aufträgen überrannt werden? Die Kosten für die technische Umstellung werden steigen, wenn nur wenige Dienstleister Millionen Kunden zeitnah umstellen sollen.

Ein weiteres Problem ist die Verknüpfung mit dem Konto, das man bei seiner Geschäftsbank hat. Warum? Weil auf dem Konto mit den Digitalen Euros nicht mehr als 3.000 Euro gehalten werden dürfen. Jeder Euro, der darüber liegt, soll automatisch auf mein Geschäftsbankkonto „fließen“, das ist die sogenannte Waterfall-Funktion. So soll verhindert werden, dass den Geschäftsbanken die Liquidität entzogen wird. Das leuchtet mir ein. Aber der Wasserfall geht auch in die andere Richtung: Wenn die Deckung des Kontos, auf dem ich Digitale Euro halte, nicht ausreicht, soll automatisch auf das Guthaben des Geschäftsbankkontos zugegriffen werden. Dadurch ergeben sich erhebliche Probleme: Was passiert, wenn mein Konto, auf denen ich Digitale Euro halte, gehackt wird? Dann wird mein Girokonto gleich von den Angreifern über den Wasserfall auch leergeräumt. Wer haftet dann dafür? Die Geschäftsbanken werden wohl kaum das Risiko auf sich nehmen. Und was, wenn das Girokonto ins Minus gezogen wird? Müssen die Geschäftsbanken automatisch Kredite vergeben? Und für die Geschäftsbanken ergibt sich durch das Onboarding auch ein Kostenproblem.

Inwiefern?

Die EZB will nicht selbst 300 Mio. Kunden onboarden – 300 Mio. Kunden prüfen bedeutet, 300 Mio. Personalausweise prüfen etc. Dafür wäre ein Filialnetz nützlich, das die EZB nicht hat. Die EZB will diesen Know-Your-Customer-Prozess an Payment Service Provider (PSP) auslagern, also an kommerzielle Anbieter. Welche kommerziellen PSP sollen diesen KYC-Prozess kostenlos für 300 Mio. Menschen durchführen? Es soll die Kunden ja nichts kosten. Die Eröffnung eines Bankkontos kostet eine Bank etwa 50 Euro. Welche kommerziellen Unternehmen werden das für potenziell 300 Mio. Menschen übernehmen, ohne den Kunden die Kosten zu berechnen?

Eine Antwort ist die europäische eID, also die europäische digitale Identität. Die ist aber erstens nicht ausgerollt und zweitens ist der Aufwand auch mit der eID nicht gleich null, denn auch die eID könnte gestohlen worden sein oder es gibt Probleme beim Vorgang. Und überhaupt ist die Frage nicht geklärt, ob wir die eID wirklich wollen. Die eID birgt erhebliches Überwachungspotential: Muss ich mich, wenn sie eingeführt wird, überall im Netz damit ausweisen? Haben wir diese Gefahr politisch diskutiert?

Zurück zur Kostenfrage: Neben der Kontoeröffnung sollen kommerzielle PSP auch den Kundensupport übernehmen, auch das soll für die Kunden kostenlos sein. Aber sie dürfen bei den Händlern Gebühren erheben. Damit der Digitale Euro attraktiv ist, sollen diese Gebühren gedeckelt werden. Jetzt sind zwei Fälle denkbar: Der Deckel ist zu hoch und der Digitale Euro ist für die Händler unattraktiv oder der Deckel ist zu niedrig, niedriger als die aktuellen Gebühren. Welches private Unternehmen steigt dann aber da ein? Als jemand, der sich mit IT-Sicherheit befasst, überlege ich mir, was könnte das Geschäftsmodell für die privaten Unternehmen sein? Ich darf bei den Kunden keine Gebühren erheben und die Gebühren für die Händler sind stark gedeckelt – wo verdiene ich da Geld? Es bleibt nur die Möglichkeit: Ich spare bei der Sicherheit. Und zwar nicht ein wenig, sondern im WireCard-Stil: gar keine Sicherheit. Sicherheitskosten gehören neben den Kosten für Compliance zu den höchsten Kosten im Bankenumfeld. Ich weiß nicht, wie die EZB sowohl hohe Sicherheit als auch niedrige Kosten erreichen will.

Mit dem Taler-Bezahlsystem können wir das erreichen, weil es technisch ganz anders aufgestellt ist: Die Kundenidentifizierung bleibt bei den Geschäftsbanken, das Double-Spending-Problem lösen wir durch Kryptografie und Anonymität stellen wir durch blinde Signaturen her. So kann ich Einiges einsparen. Der Digitale Euro soll aber kontenbasiert sein, es soll ein Bankkonto sein, also werden auch die Kosten eines Bankkontos anfallen.

Im Bezug zur Retail-CBDC wird die Möglichkeit von Offline-Zahlungen diskutiert. Eine taler-basierte CBDC soll aber „online only“ sein. Warum?

Das Problem bei Offline-Zahlungen mit einer CBDC ist, wie bei anderem digitalem Bargeld, das schon angesprochene Double Spending: Wie verhindere ich, dass jemand seine elektronischen Wertbestände kopiert und doppelt ausgibt? Und die Antworten, die wir historisch kennen, raten zur Vorsicht: Wir haben die verschiedensten Arten des Digital Restrictions Managements (DRM), also des Kopierschutzes. Und was hat das gebracht? Waren die Film- und die Musikindustrie mit ihrem Kopierschutz erfolgreich? Nein! Man kann das Kopieren erschweren, aber mit genügend Aufwand geht es immer. Man muss auch kein Informatiker sein, um Filme oder Musik zu kopieren. Das Kopierproblem verschärft sich beim digitalen Bezahlen: Wenn die kriminelle Energie da ist, einen Film zu kopieren, wie groß ist dann die kriminelle Energie, Geld selbst zu drucken? Dazu kommen noch geopolitische Interessen: Wenn Russland der Wirtschaft der EU schaden könnte, indem es Trillionen von Digitalen Euros druckt, wäre es blöd, das nicht zu tun. Es geht also nicht nur darum, dass Privatleute mit beschränkten Ressourcen versuchen könnten, eine CBDC zu kopieren, sondern wir müssen damit rechnen, dass staatliche Akteure mit großem Budget und guter Technik das versuchen werden.

Und deswegen sollte mit einer CBDC nur online gezahlt werden können?

Ja, denn die einzige effektive Möglichkeit, das Kopieren zu verhindern, ist das Digital Watermarking: Ich markiere jede Kopie mit einem mehr oder weniger eindeutigen Siegel, das sagt, „diese Kopie hatte ich dem Herrn Müller gegeben“. Und wenn Herr Müller Kopien anfertigt, dann weiß ich, dass es seine Kopien sind. Jetzt kommt das Problem mit dem Offline-Modus ins Spiel: Die Europäische Zentralbank (EZB) sagt, das Offline-Zahlen wird vollanonym sein. Dann kann ich aber nicht mehr feststellen, dass es Herr Müller war, der die Kopien gemacht hat, denn er war anonym. Und selbst ohne Anonymität gibt es dann noch das Enforcement-Problem. Ein denkbarer Fall wäre: Eine Person in der Familie steht kurz vor dem Tod, ich kopiere ihr Geld, sie verstirbt und ich bringe das kopierte Geld in Umlauf. Selbst wenn der Bezahlvorgang nicht anonym ist, wie soll die EZB das kopierte Geld von der verstorbenen 90-jährigen Oma zurückbekommen? Eine dritte Möglichkeit, das entstehende Problem zu lösen: Die EZB kann dem Händler, der kopiertes Geld entgegengenommen hat, schlicht sagen, dass es doppelt ausgegeben wurde und er Pech gehabt hat und auf seinen Kosten sitzen bleibt. Das kann auch bei Kreditkartenzahlungen passieren: Wenn jemand mit einer gestohlenen Kreditkarte bei einem Händler bezahlt, der gerade offline ist, kann es sein, dass die Kreditkartenfirma dem Händler sagt, „Die Karte war schon gesperrt, Du hast das nicht geprüft, Du bleibst auf Deinen Kosten sitzen.“ Die EZB verspricht aber hohe Sicherheit. Das Erste, was ich von einem sicheren digitalen Bezahlsystem erwarten würde, wäre, dass, wenn mir mein Computer sagt, „Du hast das Geld bekommen“, dass ich das Geld auch wirklich bekommen habe. Das ist aber im Offline-Modus schlicht nicht möglich.

Wir wissen, dass es trotz der DRM-Maßnahmen möglich sein wird, digitale Daten zu kopieren. Man könnte auch Taler offline nutzen, dann können wir aber auch nicht garantieren, dass die Daten nicht kopiert sind bzw., dass das Geld, das ich erhalte, nicht doppelt ausgegeben wurde. Das muss man den Leuten erklären: Das Offline-Bezahlen mit digitalem Cash ist möglich, aber nicht sicher und anonym.

Im Katastrophenfall könnten wir das Risiko hinnehmen. So macht man das in Japan beispielsweise mit der Bezahlkarte für die öffentlichen Verkehrsmittel: Kommt es zu einem Erdbeben und ist das System offline, dann funktioniert die Karte trotzdem, damit die Leute nachhause kommen können. Man rechnet damit, dass es in wenigen Fällen zu Betrug kommen wird, aber wichtiger ist, dass die Menschen nach Hause kommen können. Im Katastrophenfall wird also Menschlichkeit gegenüber korrekter Abrechnung priorisiert.

Die EZB betont immer wieder, der Digitale Euro wird erst nach einem politischen Beschluss eingeführt. Haben Sie noch Hoffnung, dass der Digitale Euro doch noch als token-basiertes System umgesetzt wird?

Während die EZB das verspricht, hat sie schon eine Ausschreibung für 1,3 Mrd. Euro gemacht, in der schon ganz konkrete Vorgaben genannt werden. Und auf diese Ausschreibung konnten sich nur Unternehmen mit einem Mindest-Jahresumsatz von 10 Mio. Euro bewerben. Kleine Akteure, die angeblich auch gefördert werden sollen, sind also schon aus dem Spiel. Die Ausschreibung hatte eine Frist von sechs Wochen, die kürzeste mögliche legale Frist. Man kann doch nicht sagen, wir machen nichts ohne politischen Beschluss und gleichzeitig Gelder für die technische Umsetzung vergeben, die an enge technische Vorgaben geknüpft sind. Damit werden Fakten geschaffen. Und von einem token-basierten Ansatz ist in der Ausschreibung nichts zu finden. Dass die EZB nach einem politischen Beschluss auf einen grundlegend anderen Ansatz umschwenkt, ist nicht zu erwarten.

Ich glaube, dass man sich nur nach einem Scheitern der aktuellen Pläne Hoffnungen darauf machen kann, dass ein token-basierter Ansatz verfolgt wird. Erst wenn der Digitale Euro entweder politisch oder ökonomisch oder technisch gescheitert ist, haben wir aus meiner Sicht eine Chance, eine ordentliche politische Debatte darüber zu führen, was wir eigentlich als Gesellschaft haben wollen. Vielleicht könnte es dann in 15 Jahren einen neuen Anlauf geben. Und dann können wir sehen, ob es mit der Tokenisierung was wird oder nicht.

Herr Grothoff, vielen Dank für das Gespräch.

Zurück zur Startseite des Blogs

Zum Diskursprojekt Demokratiefragen des digitalisierten Finanzsektors