Daten- und ressourcenhungrig: Gibt es eine nachhaltige KI?
Mittlerweile gibt es kaum einen Bereich, in dem nicht davon gesprochen wird, dass durch die Nutzung von KI Effizienzsteigerung oder Optimierung möglich sei: im Finanzsektor, im Onlinehandel, in der Industrie, in der Medizin oder im Bildungsbereich. Die Nutzung von Diensten, die auf großen Sprachmodellen (Large Language Models oder kurz LLMs) beruhen, ist rasant angestiegen und viele Millionen Menschen nutzen täglich ChatGPT oder andere KI-Technologien. Gleichzeitig wird immer deutlicher, dass diese Systeme wahrscheinlich nicht nur zur Bewältigung einiger komplexer Probleme beitragen werden, sondern auch eine ganze Reihe neuer Probleme schaffen, die es zu bewältigen gilt.
Von Friederike Rohde | 17.01.2025
Erstellt mit Adobe Firefly: Prompt: „create a cubistic image from a vague digital footprint out of digital symbols“
Zu diesen Problemen gehört die Diskriminierung durch Voreingenommenheit und Stereotypen, die Konzentration von Marktmacht und die Herausbildung von Infrastrukturmonopolen, vor allem aber auch die Auswirkungen der Systeme auf die Umwelt, wie erhebliche CO2-Emissionen und der hohe Wasserverbrauch der digitalen Infrastruktur, die für den Betrieb der Systeme erforderlich ist. Die Nachhaltigkeitsfolgen von KI rücken immer mehr in den Blick und nimmt man die Forderungen nach einer umfassenden Nachhaltigkeitsperspektive (Rohde et al. 2024) ernst, dann zeigt sich, dass wir von einer „nachhaltigen KI“ noch weit entfernt sind.
Welcher Fortschritt?
Fortschritt wird derzeit an der Entwicklung von immer größeren Modellen festgemacht. Die ersten „Durchbrüche“ für die umfassende Nutzung von künstlichen neuronalen Netzen wurden durch die sogenannten Transformer-Modelle erzielt. Das sind Modelle, die einen Aufmerksamkeitsmechanismus beinhalten, der die menschliche Aufmerksamkeit nachahmen soll, und Text in numerische Darstellungen, sogenannte Token, und anschließend in Vektoren umwandeln. Wird dieses Transformer-Modell mit einer großen Menge von Daten trainiert, kann es beispielsweise für Übersetzungen eingesetzt werden. Mittlerweile werden immer mehr sogenannte Diffusions-Modelle entwickelt, die Daten generieren können, die denen ähneln, mit denen sie trainiert wurden. Diese Systeme werden umgangssprachlich auch als „generative KI“ bezeichnet.
Die Größe dieser Modelle ist rasant angestiegen. Während erste Transformer-Modelle um die 340 Millionen Parameter (dies sind die Werte oder Variablen des Modells) beinhalten, kommen aktuelle LLMs wie PaLM (Google) auf 540 Milliarden Parameter. Mit der Größe der Modelle steigt auch die erforderliche Rechenkapazität, die wiederum jedoch mit vielfältigen Auswirkungen für Menschen und Umwelt verbunden ist. Aktuelle Studien zeigen, dass der Carbon Footprint des Trainings großer Modelle wie GPT3, bei 552 Tonnen CO2-Äquivalenten liegt (Luccioni et al. 2023).
Die Nachhaltigkeitsbilanz von KI wird auch getrübt durch den Abbau von Rohstoffen für die Hardware, also die GPUs (Graphic Processing Units), die mit diesem Abbau oft einhergehenden Menschenrechtsverletzungen oder die Konflikte um die Wassernutzung durch die Rechenzentren, die in Regionen mit Wasserknappheit wie Chile oder Uruguay zunehmend auftreten. Ein Forschungsteam hat den Wasserfußabdruck beim Betrieb von Rechenzentren, die für das Training großer Sprachmodelle genutzt werden, auf 700.000 Liter Trinkwasser beziffert (Li et al. 2023). Jüngst haben diese Forscher darauf hingewiesen, dass der Verbrauch sogar noch viermal höher ist als in der Studie errechnet (Sellman 2024).
Die Frage, ob die enorme Größe der Sprachmodelle im Verhältnis zum daraus hervorgehenden Nutzen überhaupt notwendig ist, spielt meist nicht wirklich eine Rolle. Die vorherrschende Erzählung, KI sei neutral, autonom oder Werkzeug zur Demokratisierung, muss hinterfragt werden (Rehak 2023). Auch die Vision, über die Möglichkeiten des Technologieeinsatzes einen Beitrag zur Reduktion des Umweltverbrauches oder der Klimakrise zu leisten, gehört auf den Prüfstand. Erstens handelt es sich oftmals um Effizienzsteigerungen, die schnell durch höhere Produktivität aufgefressen werden. Denn die Rechnung wird meist ohne das Wirtschaftswachstum gemacht. So kommt beispielsweise eine aktuelle Studie von PwC und Microsoft zu dem Schluss, dass mittels KI-Technologien zwischen 1,5 und 4 % CO2 eingespart werden können, gleichzeitig wird aber ein Wirtschaftswachstum von 4 % durch den Einsatz von KI prognostiziert (Joppa/Herwejer 2024). Die relative Einsparung wird also durch das größere Wirtschaftsvolumen eingeholt, so dass eine absolute Reduktion der Emissionen fraglich ist. Zweitens zielt die KI häufig darauf ab, eine bestehende Vorgehensweise zu optimieren. Beispielsweise wird in der Landwirtschaft KI eingesetzt, um den Pestizideinsatz zu reduzieren. Aber die grundsätzliche Frage, wie wir zu einer alternativen und ökologisch verträglichen Form der Landwirtschaft kommen, die gar keinen Pestizideinsatz mehr notwendig macht, kann uns diese Technologie nicht beantworten.
Fortschritt im Bereich der KI könnte prinzipiell auch etwas anderes bedeuten – zum Beispiel, dass spezialisierte Modelle für Einsatzzwecke entwickelt werden, für die sie einen wichtigen Mehrwert bieten. Ihre Komplexität wäre dann tendenziell begrenzter, beziehungsweise würde ihre Größe ins Verhältnis zu anderen Zielen gesetzt werden.
Zielkonflikte und Gerechtigkeitsfragen
Neben der Nachhaltigkeitsfrage stellt sich auch immer vernehmbarer die Gerechtigkeitsfrage: Vom Abbau der Rohstoffe, über den Energie- und Wasserhunger der Datenzentren bis zur Deponierung des Elektroschrottes – die materiellen Voraussetzungen und Auswirkungen, für die mit vielen Versprechungen verbundene KI-Technologie, sind global ungleich verteilt. Während die Profiteure der Technologie vor allem Unternehmen oder Gemeinschaften im globalen Norden sind, treffen viele der ökologischen und sozialen Folgen vor allem den globalen Süden. In Indien ringen beispielsweise lokale NGOs mit Datencenterbetreibern um die Nutzung von Trinkwasser und gleichzeitig werden die Daten für das Training der LLMs in Kenia und Nigeria gelabelt, weshalb beispielsweise das Wort „delve“ viel häufiger in KI-generierten Texten vorkommt als im angloamerikanischen Sprachgebrauch üblich. Globale Gerechtigkeitsfragen spielen also zunehmend eine Rolle und werden noch sehr viel gravierender werden, je stärker der Einsatz dieser Technologie zunimmt.
Darüber hinaus gibt es eine ganze Reihe von Zielkonflikten, die aus einer umfassenden Perspektive zutage treten. Beispielsweise ist eine Verlagerung von lokalen Rechenzentren hin zu Cloud-Anbietern aus einer ökologischen Perspektive sinnvoll, um Ressourcen zu bündeln. Sie fördert aber gleichzeitig eine Konzentration im Cloud-Markt und ist daher ökonomisch weniger nachhaltig. Auch ist zu beobachten, dass Rechenzentrumsbetreiber aus Energieeffizienzgründen auf die weniger energieintensive Wasserkühlung, statt auf Luftkühlung setzen, was aber wiederum den Wasserverbrauch erhöht. Wenn wir auf ökonomischer Ebene eine größere Marktvielfalt möchten und den Zugang zu Modellen, beispielsweise durch Open Source, für kleinere Unternehmen und Akteure ermöglichen wollen, fördert diese größere Zugänglichkeit wiederum die Nutzungsintensität, was die negativen ökologischen Folgen verstärkt. Und schließlich ist ein sehr realistisches Szenario auch, dass wir KI-Modelle mit einem geringen ökologischen Fußabdruck entwickeln, die aber für Zwecke eingesetzt werden, die Nachhaltigkeitszielen entgegenstehen, beispielsweise die Erschließung neuer Ölfelder oder personalisierte Werbung, die den Konsum ankurbelt.
Nachhaltigkeitswirkungen entlang des Lebenszyklus
Wenn komplexe und immer größere KI-Systeme in immer mehr Bereichen eingesetzt werden, ist es wichtig, die Nachhaltigkeitswirkungen entlang des gesamten Lebenszyklus zu betrachten. Das bedeutet sowohl die Bereitstellung und Aufbereitung der Daten, die Modellentwicklung, das Training, die Modellimplementierung, die Modellnutzung und Entscheidungsfindung zu berücksichtigen. Darüber hinaus ist die organisatorische Einbettung von großer Bedeutung, wenn es darum geht, KI-Systeme mit Verantwortung für die Menschen und den Planeten zu gestalten. Wenn wir wirklich eine umfassende Nachhaltigkeitsbetrachtung vornehmen wollen (Rohde et al. 2024), geht es darum, Auswirkungen auf sozialer Ebene, wie Diskriminierung, Verletzung von Persönlichkeitsrechten oder kulturelle Dominanz zu reduzieren, also auch darum, Marktmacht und Monopole zu hinterfragen und die ökologischen Auswirkungen zu betrachten. Wir müssen uns damit befassen, wo die Ressourcen herkommen und in welchen Regionen die Rechenzentren stehen sollen, ohne die die Modelle und Anwendungen nicht funktionieren. Es geht also auch darum, wie wir digitale Infrastrukturen gestalten und wie wir sie in Anspruch nehmen (Robbins & van Wynsberghe 2022).
Denn zur Beantwortung der Frage, ob KI-Systeme positive oder negative Wirkungen im Hinblick auf die Ziele für nachhaltige Entwicklung entfalten, kann nicht allein darauf geschaut werden, in welchem Sektor KI-Systeme eingesetzt werden und ob sich daraus möglicherweise positive Beiträge für einzelne Aspekte nachhaltiger Entwicklung (z.B. Klimaschutz oder Armutsbekämpfung) ableiten lassen. Diese verengte Perspektive greift zu kurz. Dies kann nur durch eine umfassende Perspektive auf KI erreicht werden, welche die sozialen, ökologischen und ökonomischen Auswirkungen entlang des Lebenszyklus‘ aller KI-Systeme adressiert. Hinter dem Anspruch eine nachhaltige Technologie zu entwickeln, welche die vielfältigen Wechselwirkungen zwischen sozialen, ökologischen und ökonomischen Auswirkungen berücksichtigt, steht in Anbetracht der derzeitigen Entwicklungen daher ein großes Fragezeichen. ■
Li, Pengfei, Yang, Jianyi, Islam, Mohammad A. & Ren, Shaolei: (2023): Li, P., Yang, J., Islam, M. A., & Ren, S. (2023): Making AI Less „Thirsty“: Uncovering and Addressing the Secret Water Footprint of AI Models. In:https://doi.org/10.48550/arXiv.2304.03271 [21.11.2024].
Luccioni, Alexandra Sascha, Viguier, Silvain & Ligozat, Anne-Laure (2023). Estimating the carbon footprint of bloom, a 176b parameter language model. Journal of Machine Learning Research, 24(253), 1-15.
Luccioni, Alexandra Sascha , Jernite, Yacine & Strubell, Emma (2024): Power Hungry Processing: Watts Driving the Cost of AI Deployment? In: Association for Computing Machinery (Hg.): FAccT ‘24: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery: New York, S. 85-99.
Robbins, Scott & van Wynsberghe, Aimee (2022): Our new artificial intelligence infrastructure: becoming locked into an unsustainable future. In: Sustainability 14,/Nr. 8 (2022), 4829.
Rohde, Friederike et al. (2024): Broadening the perspective for sustainable artificial intelligence: sustainability criteria and indicators for Artificial Intelligence systems. In: Current Opinion in Environmental Sustainability 66, 101411.
Sphären der Unverantwortlichkeit Zum Umgang mit den Verantwortungslücken der Digitalisierung
In komplexen und vernetzten Gesellschaften müssen – neben der Bereitschaft, Verantwortung zu übernehmen – auch Sphären der erlaubten Unverantwortlichkeit geschaffen werden. Akteure können hier modifizierte Zurechnungsverfahren entwickeln, die auf dem begründeten Ausschluss von Verantwortlichkeiten beruhen. Dieser Ausschluss ist notwendig, um auf neuartige digitale Prozesse, die in ihrer Struktur und ihren Konsequenzen noch vielfach unbekannt sind, normativ angemessen reagieren zu können.
Von Ludger Heidbrink | 12.12.2024
Erzeugt mit Adobe Firefly. Prompt: „Sehr reduzierte Skizze eines autonomen Fahrzeugs in einer großen digitalen Sphäre; Stil: Kubismus; Farben: grün, blau, gelb“
Hochmoderne Gesellschaften haben einen besonderen Verantwortungsbedarf entwickelt. Dabei gehen sie trotz der enormen Komplexität, die neue Technologien kennzeichnet, davon aus, dass sich Handlungen jemandem zurechnen lassen und Schadensfolgen auf Urheber zurückgeführt werden können (Heidbrink 2022, 38ff.). Dies gilt auch für aktuelle Entwicklungen wie den Einsatz digitaler Agenten und KI-Systeme, die für ihre Operationen eine eigenständige moralische und rechtliche Verantwortung tragen sollen. Dieser Beitrag zeigt, dass für die Responsibilisierung digitaler Agenten und KI-Systeme wesentliche Voraussetzungen nicht erfüllt sind und es deshalb sinnvoller ist, auf einen Standpunkt der Nichtverantwortlichkeit umzustellen, von dem aus sich genauer erkennen lässt, wo die Grenzen der Responsibilisierung digitaler Systeme liegen.1
Automatisierung und Künstliche Intelligenz
Das besondere Kennzeichen der Digitalisierung liegt weniger darin, dass digitale Maschinen wie Roboter und KI-Systeme eine immer wichtigere Rolle im alltäglichen Leben spielen, als vielmehr in der Veränderung der Zurechenbarkeit von Folgenketten, die mit digitalen Prozessen einhergeht. Die exponentielle Steigerung der Rechenleistung und Datenmengen übersteigt die kognitive Verarbeitungsfähigkeit der Nutzer digitaler Systeme und ihre regulative Kontrolle dieser Systeme. Eine Konsequenz besteht darin, dass die Verantwortung in die digitalen und automatisierten Systeme zurückverlagert wird, die so programmiert werden, dass sie potenzielle Schäden vorhersehen können und in Gefahrensituationen mit entsprechenden Gegenmaßnahmen reagieren.
Günther Anders hat schon in den 1950er Jahren prognostiziert, dass der Mensch in der Lage sein werde, Apparate zu konstruieren, „auf die man die Verantwortung abschieben kann, Orakelmaschinen also, elektronische Gewissens-Automaten“, die „schnurrend die Verantwortung übernehmen, während der Mensch danebensteht und, halb dankbar und halb triumphierend, seine Hände in Unschuld wäscht“ (Anders 1961, 245). Was dabei stattfindet, ist nach Anders die „Verlagerung der Verantwortung in das […] Objekt“, die eine „Ersetzung der ‚responsibility‘ durch einen mechanischen ‚response‘“ (ebd., 246) zur Folge hat.
Die Prognose von Anders ist Realität geworden. Die Frage nach dem Verhältnis von responsibility und response spielt überall dort eine Rolle, wo Roboter und automatische Systeme eigenständig agieren, ohne autonome Urheber ihrer Aktivitäten zu sein. Artifizielle Agenten sind keine handlungsfähigen Akteure, sondern intelligente Apparate, die aus Prozessoren, Sensoren und künstlichen Gliedern bestehen. Ihnen sind Operationen möglich, die zwar autonom wirken, aber nicht autonom sind. Pflegeroboter, Kampfdrohnen oder automatisierte Fahrzeuge werden in der Regel durch Programmierer und Nutzer gesteuert, sie agieren „within the control of a tool’s designers and users“ (Wallach/Allen 2009, 26). Bislang gibt es keine Formen künstlicher Intelligenz, die auf nicht-determinierten Algorithmen beruhen und zu Handlungen in der Lage sind, die tatsächlich autonom sind. Autonom und lernfähig sind KI-Systeme höchstens in dem Sinn, dass sie algorithmische Strukturen variieren und innerhalb vorgegebener Programme neue Verknüpfungen herstellen.
Die Selbstständigkeit intelligenter Roboter und Automaten bewegt sich somit in beschränkten Bahnen, die zwar eine hohe Komplexität aufweisen, aber nicht die Bedingungen erfüllen, unter denen Akteuren personale und moralische Autonomie zugeschrieben werden kann. Hochentwickelte KI-Systeme lassen sich allenfalls als operationale Akteure beschreiben, die über eine rationale und agentiale Autonomie verfügen. Sie agieren nach vorgegebenen Codes, ohne eine reflexive Einsicht in die Gründe ihres Agierens entwickeln zu können und ihre Operationen anhand normativer Kriterien bewerten zu können, die nicht durch die algorithmischen Strukturen vorgegeben sind.
Gleichwohl werden KI-Systeme in zunehmenden Maß dort eingesetzt, wo sonst Menschen handeln, sei es mit dem Ziel der Sicherheit, der Effizienz oder des Supports. Damit müssen Fragen der moralischen Zurechnung und rechtlichen Haftung anders als bisher gestellt werden. Was geschieht, vom Daten- und Urheberschutz abgesehen, wenn KI-Systeme zu fehlerhaften Operationen führen, falsche Diagnosen produzieren und Schäden für Dritte erzeugen? Wie soll damit umgegangen werden, dass intelligente Roboter und Computer scheinbar autonom entscheiden, in Wirklichkeit aber doch nur – freilich: im Detail unüberblickbar – Programme eines Herstellers ausführen? Wo verläuft, mit Anders gesprochen, die Grenze zwischen der responsibility von Akteuren und dem response von digitalen Systemen?
Responsibility Gaps
Die Verantwortlichkeit artifizieller Agenten hängt im Kern davon ab, ob sich ihnen ähnlich wie natürlichen Personen eine eigenständige Handlungsfähigkeit zuschreiben lässt. Nach Luciano Floridi und Jeff W. Sanders (2004, 357f.) gibt es vor allem drei Kriterien, durch die artifizielle Agenten gekennzeichnet sind: Interaktivität, mit der Akteure untereinander und auf ihre Umwelt reagieren und sich wechselseitig beeinflussen; Autonomie, durch die Akteure ihren Zustand unabhängig voneinander und von ihrer Umwelt verändern können; Adaptabilität, durch die Akteure sich aneinander und an ihre Umwelt anpassen und Regeln für Zustandsänderungen entwickeln.
Von diesen Eigenschaften ist die Autonomie die Kategorie, die üblicherweise bei natürlichen Personen neben Freiheit als Basisbedingung für die Zuschreibung von Verantwortung zugrunde gelegt wird. Personale Akteure gelten in der Regel dann als verantwortungsfähig, wenn sie frei und selbstbestimmt agieren können. Nach Floridi und Sanders besitzen auch artifizielle Agenten eine spezifische Art der Autonomie, die sich allerdings von der Autonomie natürlicher Personen unterscheidet. Um die Autonomie artifizieller Agenten von der Autonomie natürlicher Personen abgrenzen zu können, greife ich auf die Klassifizierung von vier Formen der Autonomie zurück, wie sie Stephen Darwall (2006, 265) getroffen hat. Darwall unterscheidet zwischen personaler, moralischer, rationaler und Handlungsautonomie. Von diesen vier Formen bildet die Handlungsautonomie (agent autonomy) die schwächste Form der Autonomie, da sie keine rationalen, moralischen oder personalen Gründe der Selbstbestimmung und Selbststeuerung voraussetzt. Wenn man nun unter Handlungsautonomie die bloße „Selbstursprünglichkeit“ (Misselhorn 2018, 76) von Akteuren versteht, die in einem eingeschränkten Sinn operative Prozesse durchführen können, ist es möglich, artifizielle Agenten als quasi-autonome Akteure zu klassifizieren. Artifizielle Agenten verfügen zwar über keine Handlungsgründe und führen keine intentional eigenständigen Handlungen durch, sie operieren aber auf der Grundlage von algorithmischen Programmen, die ihren Operationen eine funktionale Eigenständigkeit äquivalent zu personalen Akteuren verleiht: Roboter und künstliche Systeme lassen sich in ihren Operationen so betrachten, als ob sie die gleichen Eigenschaften wie Bewusstsein, mentale Zustände und Intentionen besitzen würden, die natürliche Agenten kennzeichnen.
Die Autonomie artifizieller Agenten ist dadurch gekennzeichnet, dass sie sich strukturell analog zur Autonomie natürlicher Akteure verhält. Auch wenn artifizielle Agenten nicht autonom sind, weisen sie in ihrem Verhalten die gleichen Handlungsmuster wie natürliche Akteure auf. Aus dieser Quasi-Autonomie lassen sich Kriterien für die Moralität und Zurechnungsfähigkeit von künstlichen Systemen ableiten. Artifizielle Agenten in der Gestalt von Robotern und autonomen Steuerungssystemen können nach einer Kategorisierung von James Moor in die Klasse der „explicit ethical agents“ (Moor 2006, 19) eingeordnet werden, die nicht nur in Übereinstimmung mit moralischen Regeln handeln, sondern auch in Analogie zu moralischen Kriterien agieren. Explizite ethische Agenten – etwa autonome Fahrzeuge – sind aufgrund ihrer Programmierung in der Lage, so zu reagieren, dass ihre Reaktionen als moralische Entscheidungen interpretiert werden können, denen ein hinreichendes Verständnis der Entscheidungssituation zugrunde liegt.
Just as a computer system can represent emotions without having emotions, computer systems may be capable of functioning as if they understand the meaning of symbols without actually having what one would consider to be human understanding (Wallach/Allen 2009, 69).
Roboter und künstliche Systeme bilden insoweit analoge moralische Agenten, insofern sie „Maschinen mit inneren Zuständen“ gleichen, „die moralischen Meinungen und Pro-Einstellungen2 funktional hinreichend ähnlich sind, um als moralische Gründe gelten zu können“ (Misselhorn 2018, 88). Unter diesen Voraussetzungen ist es möglich, artifiziellen Agenten einen normativ schwachen, aber relevanten Status moralischer Handlungsfähigkeit zuzuschreiben, der die Frage nach der spezifischen Verantwortlichkeit von KI-Systemen etwas genauer zu beantworten erlaubt.
Es ist deutlich geworden, dass artifizielle Agenten auf der Grundlage einer analogen und schwachen Moralität operieren. Daraus ergibt sich aber nicht zwingender Weise, dass diese Agenten auch verantwortlich für ihre Operationen sind. Moralisches Handeln schließt nicht notwendigerweise verantwortliches Handeln ein: „x is capable of moral action even if x cannot be (or is not yet) a morally responsible agent“ (Floridi/Sanders 2004, 368). Zwischen Moralität und Verantwortlichkeit besteht insofern ein wichtiger Unterschied, als moralisch relevante Operationen keinen verantwortlichen Akteur voraussetzen müssen, sondern es ausreicht, dass die Operationen selbst ethisch oder rechtlich evaluiert werden können. Vor dem Hintergrund der funktionalen Autonomie agieren Roboter und künstliche Systeme so, dass ihnen ihre Operationen moralisch zugeschrieben werden können, ohne dass sie dafür (schon) eine hinreichende Verantwortung tragen: „there is no responsibility but only moral accountability and the capacity for moral action“ (Floridi/Sanders 2004, 376).
Die Unterscheidung von moral accountability und responsibility erlaubt es, Roboter und künstliche Systeme als artifizielle moralische Agenten zu beschreiben, die ethisch und rechtlich zurechnungsfähig sind, ohne verantwortlich sein zu müssen. Die Konzeption einer morality without responsibility ist heuristisch sinnvoll, um die spezifische Wirkungsfähigkeit artifizieller Agenten normativ erfassen zu können. Roboter und künstliche Systeme operieren in der Regel auf der Grundlage lernender Algorithmen und adaptiver Programme, durch die sie eigenständig mit ihrer Umwelt interagieren, ohne dass sich die Folgen handlungskausal auf sie zurückführen lassen. Die maßgeblichen Entscheidungen werden vielmehr von den Herstellern und Anbietern getroffen, die deshalb die rechtliche und moralische Hauptverantwortung tragen sollen, wie es jüngst auch im AI Act der EU festgelegt wurde.3
Je höher allerdings der Grad der funktionalen Autonomie artifizieller Agenten ist, umso schwieriger ist es genau genommen, die Hersteller und Anbieter für die Operationen von KI-Systemen verantwortlich zu machen. Künstliche Agenten können eigenständig handeln, ohne dass sie die kausale und moralische Verantwortung für ihre Operationen tragen. In Fällen, in denen „the machine itself“ operiert, entsteht ein „responsibility gap“ zwischen Handlungsursachen und Handlungsfolgen, der die Frage aufwirft, wie mit der begrenzten Handlungskontrolle der Hersteller über die digitalen Systeme auf normativer Ebene umgegangen werden soll (Matthias 2004, 177, 181f.).
In Fällen der operativen Autonomie und fehlenden Kontrolle von KI-Systemen, die überall dort auftreten können, wo Daten durch lernende Algorithmen verarbeitet und in neuronalen Netzwerken funktional selbstständige Entscheidungen generiert werden, geraten herkömmliche Verantwortungsmodelle an ihre Grenzen. Der responsibility gap lässt sich nicht einfach dadurch wieder schließen, dass den Herstellern von KI-Systemen primäre Verantwortlichkeiten zugeschrieben werden. Erforderlich sind vielmehr Konzepte der geteilten Verantwortung, die der spezifischen Netzwerkstruktur digitaler Agentensysteme Rechnung tragen.
Distributed Moral Responsibility
Eine mögliche Grundlage hierfür bildet das Konzept der „distributed moral responsibility“ (DMR) von Luciano Floridi, das netzwerktheoretische Elemente mit moralischen und juristischen Konzepten verbindet. Im Unterschied zu herkömmlichen Gruppenakteuren operieren Agenten in Netzwerken weder kausal noch intentional, sodass ihnen ihre Handlungsfolgen nicht direkt zugerechnet werden können. Gleichwohl erzeugen Mehrebenen-Netzwerke Wirkungen und Effekte, die ohne ihre Operationen nicht zustande gekommen wären, wie sich dies exemplarisch an automatischen Steuerungsanlagen oder autonomen Fahrsystemen beobachten lässt. Netzwerkoperationen generieren „distributed moral actions“ (DMA), die normativ relevant sind, sich aber nicht auf intentionale Urheber oder kausale Zustände zurückverfolgen lassen (Floridi 2016, 6). Multi-Layered Neural Networks sind vielmehr dadurch gekennzeichnet, dass Input-Aktionen über ein Netz an Knotenpunkten laufen, die als ungesteuerter („gesellschaftlicher“) Verteiler Output-Effekte erzeugen, welche als DMR-Handlungen wirksam werden.
Bei solchen Netzwerk-Folgen geht es deshalb nicht um die normative Bewertung der Handlungsträger, sondern der Handlungsketten, die im Fall von Schädigungen verantwortungsrelevant sind:
All that matters is that change in the system caused by the DMA is good or evil and, if it is evil, that one can seek to rectify or reduce it by treating the whole network as accountable for it, and hence back propagate responsibility to all its nodes/agents to improve the outcome (Floridi 2016, 7).
Mit Hilfe des DMR-Modells lässt sich die Verantwortung dem Netzwerk als Ganzes zuschreiben, um von dort aus die Knotenpunkte und Agenten einzubeziehen. Je nach Art der Fehler und Schäden greifen unterschiedliche Maßnahmen. Sie können in der Gefährdungshaftung von Produzenten, der Verbesserung der ethischen Infrastrukturen oder in operativen Lernprozessen bestehen, durch die Risiken von Fehlfunktionen reduziert werden. Das DMR-Modell kann hilfreich sein, um KI-Systeme verantwortungsfähig zu machen, indem zuerst der digitale Netzwerkverbund in die Verantwortung genommen wird, um im nächsten Schritt die Elemente des Netzwerks einzubeziehen.
Ein ähnlicher Vorschlag besteht darin, die Verantwortung für Schäden artifizieller Agenten durch einen kollektiven Versicherungs- und Haftungspool aufzufangen. Auch wenn Roboter und künstliche Systeme keinen Rechtsstatus wie natürliche Personen besitzen, lässt sich ihnen ein digitaler Personenstatus zuschreiben. Ähnlich wie sich Organisationen und Unternehmen als „legal persons“ betrachten lassen, können artifizielle Agenten nach einem Vorschlag von Susanne Beck als „electronic persons“ behandelt werden, die spezifische Rechte und Pflichten besitzen (Beck 2016, 479). Dieser Vorschlag würde es ermöglichen, rechtliche Verantwortlichkeiten auf artifizielle Agenten zu bündeln und sie beispielsweise über einen kollektiv eingerichteten Kapitalstock abzusichern, der durch eine „electronic person Ltd.“ verwaltet wird:
A certain financial basis would be affixed to autonomous machines, depending on the area of application, hazard, abilities, degree of autonomy etc. This sum which would have to be raised by the producers and users alike, would be called the capital stock of the robot and collected before the machine was put into public use (Beck 2016, 479).
In eine ähnliche Richtung argumentiert Gunther Teubner. Um der funktionalen Autonomie digitaler Agenten zu entsprechen, muss von einer partiellen Rechtssubjektivität digitaler Agenten ausgegangen werden (Teubner 2018, 177). Die partielle Rechtssubjektivität erlaubt es, Institute der Gehilfen- und Assistenzhaftung in Anspruch zu nehmen, wenn KI-Systeme teilautonom Schäden verursachen, etwa in Fällen der Fehlfunktion von Service- oder Pflegerobotern. In solchen Fällen haftet der Betreiber mit, da er sich das Versagen einer verschuldensunfähigen Maschine zurechnen lassen muss.
Die digitale Assistenzhaftung für rechtswidrige Entscheidungen digitaler Agenten stößt allerdings dort an Grenzen, wo Multi-Agenten-Netzwerke agieren, etwa bei autonomen Fahrsystemen oder digitalen Plattformen. In diesen Fällen geht es um das körperschaftsähnliche Gesamthandeln des Netzwerkes, das in seiner hybriden Verfassung zum Adressaten der Rechtsnormierung gemacht werden muss. Wenn Netzwerke zu Zurechnungsadressaten gemacht werden, also nicht mehr Handlungsträger, sondern Handlungsketten normativ adressiert werden, könnte es sinnvoll sein, ähnlich wie im Fall der elektronischen Personen-GmbH einen „Risiko-Pool“ (Teubner 2018, 202) einzurichten, der die Netzwerk-Akteure in eine Art monetäre Kollektivhaftung nimmt, unabhängig davon, ob eine schadenskausale Eigenverantwortung vorliegt, die bei digitalen Agenten nicht mehr ohne weiteres festzustellen ist.
Das Kapitalstock- und Versicherungsmodell haben den ökonomischen und gesellschaftlichen Vorteil, dass Innovationen nicht vorschnell durch staatliche Regulierungen des Marktes unterbunden werden, sondern die Marktakteure selbst Regeln etablieren, die in direkter Auseinandersetzung und auf praktischer Erfahrungsgrundlage mit KI-Systemen entwickelt werden. Anstatt wie der AI Act der EU und die Datenethikkommission der Bundesregierung einen „risikoadaptierten Regulierungsansatz algorithmischer Systeme“ zu verfolgen, der von einer mehrstufigen Kritikalität mit abgestuftem Schädigungspotential ausgeht (Datenethikkommission 2019, 24), dürfte es praktikabler sein, KI-Systeme mit vorläufigen Zulassungen zu versehen und unter Realbedingungen zu beobachten, welche Kritikalität besteht und wie sich Schadensfolgen durch die Multi-Agenten-Verbünde selbst kompensieren lassen.
Point of Irresponsibility
Das Kapitalstock- und Versicherungsmodell für digitale Multi-Agenten-Verbünde stellt eine Reaktion auf die Schwierigkeit dar, weder artifizielle Akteure und KI-Systeme noch Hersteller und Anbieter direkt für Schadensfolgen verantwortlich machen zu können. Die Umstellung auf partielle Nichtverantwortlichkeit bildet eine „adaptive Reaktion“ (Staab 2022, 9) auf das Problem, den Verantwortungsbedarf moderner Gesellschaften adäquat zu decken. Der Ausgang von legitimen Bereichen der Nichtverantwortlichkeit bietet die Chance, Freiräume der Gestaltung zurückzugewinnen, die im Korsett moralischer und rechtlicher Regulatorik verloren zu gehen drohen (Augsberg et al. 2020).
Wenn vom point of irresponsibility aus gehandelt wird, öffnen sich neue Möglichkeitsbereiche, in denen Akteure erproben können, welche Normen und Konventionen geeignet sind, den gesellschaftlichen Verkehr zu organisieren, ohne ihn über Gebühr einzuschränken oder die Kontrolle über ihn zu verlieren. ■
Anmerkungen
Dieser Beitrag geht zurück auf Ludger Heidbrink: Nichtverantwortlichkeit. Zur Deresponsibilisierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2024, sowie auf Ders. (2020): Artifizielle Agenten, hybride Netzwerke und digitale Verantwortungsteilung auf Märkten, in: Detlev Aufderheide/Martin Dabrowski (Hg.): Digitalisierung und künstliche Intelligenz. Wirtschaftsethische und moralökonomische Perspektiven, Berlin: Duncker & Humblot 2020, S. 67–76. ↩︎
Pro-Einstellungen sind in der Regel prosoziale und ethische Einstellungen. ↩︎
Der EU AI Act enthält konkrete Vorschriften zu Pflichten und Haftung von Anbietern insbesondere hochriskanter KI-Systeme, die vom Risikomanagement über Datengovernance, die Meldung von Fehlfunktionen, Transparenzpflichten bis zur Konformitätserklärung und Bußgeldern reichen. Allerdings bleibt völlig unklar, wie die Anbieterverantwortung zum Tragen kommen soll, wenn KI-Systeme Schäden verursachen, die den Bereich erwartbarer Sorgfalts-, Transparenz- und Governancepflichten übersteigen, ohne dass dies weder Anbieter noch KI-Systemen zugerechnet werden kann: https://artificialintelligenceact.eu/de/das-gesetz/ [25.10.2024]. ↩︎
Literatur
Anders, Günther (1961): Die Antiquiertheit des Menschen. Über die Seele im Zeitalter der zweiten industriellen Revolution, München: C.H. Beck.
Augsberg, Ino/Augsberg Steffen/Heidbrink, Ludger (2020): Einleitung, in: dies. (Hg.), Recht auf Nicht-Recht. Rechtliche Reaktionen auf die Juridifizierung der Gesellschaft, Weilerswist: Velbrück Wissenschaft 2020, S. 7–23.
Beck, Susanne (2016): The Problem of Ascribing Legal Responsibility in the Case of Robotics. In: AI & Soc, 4, S. 473–481, DOI: 10.1007/s00146-015-0624-.
Darwall, Stephen (2006): The Value of Autonomy and Autonomy of the Will. In: Ethics, 2, S. 263–284. https://doi.org/10.1086/498461.
Floridi, Luciano (2016): Faultless responsibility: on the nature and allocation of moral responsibility for distributed moral actions. In: Phil. Trans. R. Soc. A 374, S. 1–13. https://doi.org/10.1098/rsta.2016.0112.
Heidbrink, Ludger (2022): Kritik der Verantwortung. Zu den Grenzen verantwortlichen Handelns in komplexen Kontexten, Neuauflage, Weilerswist: Velbrück Wissenschaft.
Matthias, Andreas (2004): The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. In: Ethics and Information Technology 3, S. 175–183. https://doi.org/10.1007/s10676-004-3422-1.
Moor, James H. (2006): The Nature, Importance, and Difficulty of Machine Ethics. In: IEEE Intelligent Systems 4, S. 18–21. https://doi.org/10.1109/MIS.2006.80.
Staab, Philipp (2022): Anpassung. Leitmotiv der nächsten Gesellschaft, Berlin: Suhrkamp.
Teubner, Gunther (2018): Digitale Rechtssubjekte? Zum privatrechtlichen Status autonomer Softwareagenten, Tübingen: Mohr Siebeck. Wallach,
Wendell/ Allen, Colin (2009): Moral Machines. Teaching Robots Right from Wrong, Oxford: Oxford University Press.
Wir User – Über Verantwortlichkeit in der Reaktionskultur
Like, share, comment – die meisten Nutzer Sozialer Medien bemühen sich gar nicht darum, viralen oder irgendwelchen anderen Content zu produzieren, doch es braucht sie dennoch: die einfachen User, die durch ihr bloßes Reagieren Algorithmen beeinflussen, Aufmerksamkeit stiften oder verwehren und damit Diskurse und Debatten mitgestalten. Solche Reaktionen und die sich daraus ergebende Reaktionskultur trägt auch zu dem bei, was als „Verrohung“ der Onlinedebatten beobachtet wird. Es stellt sich die Frage nach Verantwortung.
Von Annekathrin Kohout | 21.11.2024
Erstellt mit Adobe Firefly, Prompt: „create a cubistic image of interaction symbols in the web, like share, like and thumbs up“
In kulturkritischen Texten und Debatten, insbesondere im Zusammenhang mit den Auswirkungen von Sozialen Medien, lassen sich zwei gegensätzliche Vorstellungen von Usern ausmachen. Zum einen gibt es die User als passive, leicht beeinflussbare Masse, „ähnlich unterkomplex wie Schwärme oder Horden“. (Türcke 2019, 13) Dieses Bild stellt User als empfängliche Konsumenten dar, die willenlos Informationen und Inhalte aufnehmen und durch Algorithmen, Werbung oder Desinformation sowie durch emotionale oder reißerische Inhalte leicht gelenkt werden können. Zum anderen existiert die Vorstellung des Users als manipulativem Akteur. Hier wird das gegenteilige Szenario gezeichnet, in dem User bewusst und gezielt Handlungen ausführen, um andere zu täuschen. Sie werden nicht als reaktive „Schwärme“ dargestellt, sondern als proaktive Anführer, die absichtlich Desinformation verbreiten, Verschwörungstheorien vorantreiben oder gezielt Einfluss auf politische und gesellschaftliche Diskurse nehmen, um die öffentliche Meinung zu beeinflussen. Diese Vorstellung ist häufig mit Debatten über Fake News, Trolle oder Rechtspopulismus in den Sozialen Medien verbunden.
Die meisten Menschen, die tagtäglich ihre Instagram-, X- oder TikTok-Feeds durchforsten oder eigene Inhalte erstellen, würden sich wohl keinem dieser beiden Extreme zuordnen. Betrachtet man Kommentare und Berichte darüber, wie Soziale Medien erlebt werden, stößt man vielmehr auf durchaus reflektierte und kritische Auseinandersetzungen mit dem Einfluss von Algorithmen, Werbung und Falschnachrichten. Eine solide Medienkompetenz lässt sich zudem leicht an alltäglichem Content von reichweitenstarken Influencern erkennen. Diese setzen Fake-Informationen oft spielerisch ein, um sie bewusst als Täuschung zu entlarven, statt sie als Wahrheit zu tarnen. So werden beispielsweise Inhalte zu ‚Trigger‘-Themen wie Schönheitsoperationen oder eine Beziehung mit großem Altersunterschied genutzt, um Empörung zu provozieren. Doch bei genauer Betrachtung entpuppen sich diese Inhalte oft als humorvolle, mit Filtern oder Behauptungen verzerrte Darstellungen. Solche strategischen Fakes zeugen von einem relativ aufgeklärten Umgang mit Falschinformationen – zumindest dann, wenn die User bereit sind, sich die nötige Zeit für die Entlarvung zu nehmen und die anfängliche Empörung kritisch zu hinterfragen.
Während die Produktionen anderer also insgesamt recht gut beurteilt und auch kritisch hinterfragt werden können, bleibt eine bewusste Auseinandersetzung mit der eigenen Rolle als aktive User oftmals noch aus. Die stereotypen Charakterisierungen von passiven Usern einerseits und manipulativen Usern andererseits berühren aber eine zentrale Frage: Wie verantwortlich sind wir für die Inhalte, die wir in den Sozialen Medien konsumieren und verbreiten? Im Fall der passiven User wird deutlich, wann wir es versäumen, Verantwortung zu übernehmen. Im Fall der manipulativen User zeigt sich, wie Verantwortung bewusst abgelehnt oder sogar absichtlich verweigert wird. Für diejenigen, die sich keinem dieser Typen zugehörig fühlen, stellt sich die Frage nach der eigenen Verantwortlichkeit jedoch kaum – zu Unrecht. Denn nicht nur geldgierige Unternehmen oder machtgierige Parteien; nicht nur PR-Leute, Troll-Armeen oder Bots sind mitverantwortlich für die „Verrohung“ (Ingrid Brodnig 2024) der Debattenkultur, für die „große Gereiztheit“ (Pörksen 2021) und „große Vertrauenskrise“ (Lobo 2023), ja für die „polarisierte Gesellschaft“ (Münch 2023). Auch wir User sind verantwortlich. Wir müssen uns dieser Verantwortung aber noch bewusster werden.
Wir User in der Reaktionskultur
Die Infrastrukturen der Sozialen Medien sind so gestaltet, dass sie uns User permanent zu Reaktionen in Form von Likes, Shares und Kommentaren auffordern. Und auch die Inhalte werden „algorithmisch aufbereitet“, sodass sie Sensationelles, Zugespitztes oder Radikales bevorzugen (Lobo 2016) – sprich, sie sind darauf ausgelegt, starke Emotionen zu wecken und dadurch möglichst viele Reaktionen zu erzeugen. So entsteht eine Diskursöffentlichkeit, die Bernhard Pörksen als „Empörungsdemokratie“ (Pörksen 2021, 65) bezeichnet hat. Ausschlaggebend für diese Empörungsdemokratie ist zudem, dass sich User in ihren persönlichen Feeds oft direkt angesprochen fühlen – oder wie Wolfgang Ullrich es formuliert: „Da man sich in den Sozialen Medien jeweils an seine Follower wendet, beziehen diese die Postings auch direkt auf sich; sie sehen von vornherein ein Identifikationsangebot darin“ (Ullrich 2024). Meistens handelt es sich dabei aber in gewisser Weise um ein Missverständnis, da viele Inhalte – insbesondere von reichweitenstärkeren Profilen – nicht an einen überschaubaren Personenkreis und schon gar nicht an individuelle Menschen gerichtet sind, sondern an eine nicht genauer zu bestimmende Öffentlichkeit. (Kohout 2019, 67) Und selbst dann, wenn sich Influencer um eine genaue Adressierung – etwa mittels Ansprachen oder mit Hashtags – bemühen, werden sich jene Follower, die damit nicht gemeint sind, trotzdem angesprochen fühlen. Und wer angesprochen wird, der hat auch das Recht zu reagieren, fühlt sich vielleicht sogar dazu eingeladen oder aufgefordert.
Die Sozialen Medien haben eine ausgeprägte „Reaktionskultur“ hervorgebracht: „Eine Kultur, in der die Reaktion auf kulturelle Artefakte nicht mehr zweitrangig oder ihnen nachgestellt ist, sondern zum eigentlichen Zentrum wird. Die kulturellen Artefakte sind – zugespitzt formuliert – nur noch der Kick-Off für die Reaktionen darauf. Es ist eine Kultur, die nicht nur permanent Reaktionen zulässt, sondern die regelrecht dazu auffordert, sie provoziert.“ (Kohout 2024, 212f) Reaktionen sind spezifische Handlungen, die auf äußere Reize antworten – sie gelten in der Regel als weniger autonom im Vergleich zu proaktiven Handlungen, die aus innerer Initiative hervorgehen. In manchen Fällen geben User Verantwortung für das Gesagte einerseits und für das Sagen selbst, das Stimme-Erheben und sich Positionieren andererseits ab, insofern sie sich so darstellen, als würden sie „nur“ reagieren.
In der Anfangszeit der Sozialen Medien wurde das Teilen von Meinungen schnell als narzisstisch wahrgenommen. Es gibt unzählige Bücher und Texte, die thematisieren, wie Social-Media-Plattformen Narzissmus fördern oder verstärken. (Bspw. Twenge 2012; Storr 2017) Kein Wunder also, dass das Veröffentlichen im Social Web auch mit einigen sozialen Hemmungen verbunden war und bis heute ist. Reaktionen hingegen bieten eine Möglichkeit, die eigene Stimme in die Öffentlichkeit zu tragen, ohne narzisstisch oder aufdringlich zu erscheinen. Anstatt etwas selbst anzusprechen, ist die Reaktion eine Möglichkeit, annehmbare Gründe für das eigene Publizieren mitzuliefern, sich zum Sprechen berechtigt zu fühlen. Durch Reaktionen kann man sich außerdem verorten, Verknüpfungen herstellen und dem eigenen Anliegen eine größere Dringlichkeit verleihen. Reaktionen sind also oft inszeniert. Sie „nehmen teilweise sogar Werkcharakter an, […] und machen sich verschiedene Stilmittel zunutze. Man denke an das Format der Reaction Videos: Sie stellen nicht einfach eine emotionale Reaktion dar, sondern es sind visuell aufwendig inszenierte, ‚gestaltete Emotionen‘.“ (Kohout 2024, 213) Man gibt sich reaktiv, handelt aber eigentlich proaktiv.
Das heißt: Nicht alle Reaktionen im Social Web sind impulsive Reaktionen, bei denen die User nur wenig oder gar keine Zeit zur bewussten Reflexion haben und die typischerweise affektgesteuert sind und in stressigen oder emotional aufgeladenen Situationen auftreten. Sondern zunehmend lassen sich instrumentelle Reaktionen beobachten, die strategisch und zielgerichtet sind.
Verantwortlichkeit in der Reaktionskultur
Instrumentelle Reaktionen sind häufig inszeniert und zielen darauf ab, die Emotionen der Lesenden oder Zuschauenden zu steuern und Handlungsimpulse auszulösen. In der Diskurskultur ist es üblich, Positionen als Reaktionen auf bestehende Standpunkte zu präsentieren, wie etwa in den Diskussionen um den Nahost-Konflikt: Diejenigen, die sich im Krieg zwischen Israel und den Palästinensern mit Israel solidarisieren, stärken ihre Position dadurch, dass sie sie als Reaktion auf das vermeintliche Kleinreden des terroristischen Angriffs vom 7. Oktober 2023 ausweisen, während diejenigen, die sich mit den Palästinensern solidarisieren, ihre Position als Reaktion auf das vermeintliche Kleinreden der darauf folgenden Angriffe in Gaza präsentieren. In der Reaktionskultur scheint es schwer bis unmöglich geworden zu sein, Mitgefühl und Solidarität auszudrücken, ohne gleichzeitig die gegenteilige Position anzugreifen. Sich die teilweise schon genannten Gründe dafür genauer anzuschauen – inwiefern User nach einem Anlass suchen, um die eigene Meinung zu teilen (v.a., wenn sie keine ausgewiesene Expertise besitzen), oder sie ihrerseits Reaktionen provozieren wollen usw. – ist ein noch offenes Unterfangen, das zu einer bewussteren Mediennutzung beitragen könnte. Denn der Nebeneffekt dieser Reaktions-Mechanismen ist, dass die Gegnerschaft im Netz verstärkt wird. Reaktionen werden zum performativen Akt, zum öffentlich inszenierten Widerstand gegen das „Andere“, das als Bedrohung für die eigene Identität oder Meinung empfunden wird.
Die Reaktionskultur, in der wir uns heute bewegen, verlangt nach einem tieferen Verständnis unserer Rolle als User. Wir agieren längst nicht mehr nur passiv, sondern sind oft aktiv Gestaltende des Diskurses, ob bewusst oder unbewusst. Jede Reaktion – sei es ein Like, Share oder Kommentar – trägt dazu bei, welche Themen an Sichtbarkeit gewinnen und welche verdrängt werden. Wir können nicht länger davon ausgehen, dass unsere Reaktionen keine Folgen haben, dass sie in der Masse untergehen. Denn in der Summe formen sie die digitale Öffentlichkeit. Wenn wir also die Verantwortung für die „Verrohung“ der Debattenkultur und die Polarisierung in Sozialen Netzwerken nicht ausschließlich auf Algorithmen, Trolle oder Falschnachrichten schieben wollen, dann müssen wir uns fragen, wie wir selbst durch unsere Reaktionen zur Diskursverschiebung beitragen. Es liegt in unserer Verantwortung, die Mechanismen der Reaktionskultur zu durchschauen und uns unserer Handlungsmacht bewusst zu werden und sie bewusster und reflektierter zu gestalten.
Letztlich sind Aktionen und Reaktionen eng miteinander verbunden, und jede Reaktion ist ein aktiver Teil des Prozesses der Auseinandersetzung mit der Umwelt. Unsere Reaktionen in den Sozialen Medien beeinflussen nicht nur die Algorithmen, sondern auch die Art und Weise, wie wir als Gesellschaft miteinander kommunizieren. Die Verantwortung dafür tragen wir – wir User. ■
Literatur
Brodnig, Ingrid: Wider die Verrohung. Über die gezielte Zerstörung öffentlicher Debatten: Strategien & Tipps, um auf Emotionalisierung und Fake News besser antworten zu können, Wien: Brandstätter Verlag 2024.
Kohout, Annekathrin: Hyperinterpretation und das Problem der hermeneutischen Willkür, in: Birte Kleine-Benne (Hg.): Eine Kunstgeschichte ist keine Kunstgeschichte. Kunstwissenschaftliche Perspektiven in Text und Bild, Berlin: Logos Verlag 2024, S. 203-225.
Kohout, Annekathrin: Netzfeminismus, Berlin: Klaus Wagenbach 2019.
Lobo, Sascha: Die große Vertrauenskrise. Ein Bewältigungskompass, Köln: Kiepenheuer & Witsch 2023.
Lobo, Sascha (2016): Das Ende der Gesellschaft. Digitaler Furor und das Erblühen der Verschwörungstheorien. In: Blätter für deutsche und internationale Politik 10, S. 59-74.
Münch, Richard: Polarisierte Gesellschaft. Die postmodernen Kämpfe um Identität und Teilhabe, Frankfurt am Main: Campus Verlag 2023.
Pörksen, Bernhard: Die Große Gereiztheit. Wege aus der kollektiven Erregung, München: Goldmann Verlag 2021.
Storr, Will: Selfie: How We Became So Self-Obsessed and What It’s Doing to Us, Hampshire 2017.
Türcke, Christoph: Digitale Gefolgschaft. Auf dem Weg in eine neue Stammesgesellschaft, München: C.H. Beck 2019.
Twenge, Jean M.: The Narcissism Epidemic: Living in the Age of Entitlement, New York 2012.
Ullrich, Wolfgang: Identifikation und Empowerment. Kunst für den Ernst des Lebens, Berlin 2024.
Generative KI und Dual-Use: Risikobereiche und Beispiele
Die Fähigkeiten generativer KI beeindrucken – und beunruhigen, denn KI ist eine Dual-Use-Technologie. KI-Systeme können sowohl für zivile als auch für militärische Zwecke, sowohl in vorteilhafter als auch schädlicher Absicht eingesetzt werden. Technologien wie Maschinelles Lernen und Generative KI verändern dadurch die Landschaft der Sicherheitsrisiken tiefgreifend – für Bürger, Organisationen, Gesellschaften und Staaten. Doch welche Risikobereiche sind konkret betroffen? Und wie kann man gegensteuern?
Von Andreas Brenneis | 07.11.2024
Erstellt mit Adobe Firefly
Die rasanten Entwicklungen im Forschungsfeld der Künstlichen Intelligenz (KI) bringen technologische Fortschritte wie auch gesellschaftliche Implikationen mit sich und machen multiperspektivische Diskussionen unter Berücksichtigung diverser normativer Rahmenwerke notwendig. „KI“ ist als Begriff zunächst weit und abstrakt und umfasst unterschiedliche Technologien und Anwendungen, sodass es nicht verwundert, dass sie eine Fülle von Bewertungsfragen aufwirft, wobei diverse Normenordnungen berührt sind: rechtliche Regeln, ethische Prinzipien, moralische Normen, soziale Standards, kulturelle Werte, religiöse Gesetze, politische Ideale und ethische Überlegungen (vgl. auch Kettemann 2020).
KI-Systeme und insbesondere Generative KI werden zudem sehr verschiedenen Nutzungsgruppen zugänglich. Dadurch erlangen Fragen des Dual-Use ebenfalls größere Bedeutung. Die Perspektive des Dual-Use umfasst mehrere Normordnungen und wirft im Kern Dilemmata hinsichtlich der Forschung und Entwicklung von Wissen, Technologien und Werkzeugen auf, die für böswillige Zwecke missbraucht werden könnten, die also neben einem ersten erwünschten oder gebilligten Einsatzbereich auch noch einem zweiten, unerwünschten Zweck dienen können (Tucker 2012, Riebe 2023). In den folgenden Abschnitten werde ich die spezifische Herausforderung des Dual-Use hinsichtlich der Entwicklung von Generativer KI erörtern. Ich gehe daher also nicht auf allgemeine Bedenken hinsichtlich Künstlicher Allgemeiner Intelligenz (zu Artificial General Intelligence, kurz AGI, vgl. McLean et al. 2023), den in maschinellen Lernansätzen inhärenten Verzerrungen (zu Biases vgl. Ntoutsi et al. 2020) oder betrieblicher Probleme in praktischen KI-Einsatzkontexten (Raji et al. 2022) ein.
Wie vielfach diskutiert, birgt KI-Technologie Potenzial sowohl für die Förderung als auch für die Untergrabung menschlichen Wohlergehens – abhängig von ihrer Nutzung, also ihrem kontextspezifischen Ge- oder Missbrauch (Brenneis 2024, Ambrus 2020). Die rasante Entwicklung und kontinuierliche Verfeinerung von Maschinellem Lernen, Generativer KI und von großen Sprachmodellen verdeutlicht die Möglichkeiten, sie für komplexe kreative Unternehmungen nutzen und positive Entwicklungen in verschiedenen Bereichen wie der Verbesserung von Arbeitsabläufen und der Datenanalyse erzielen zu können. Als Teilgebiete der KI nutzen die Natürliche Sprachverarbeitung (Natural Language Processing, kurz NLP) und die Generative KI Techniken des Deep Learning sowie umfangreiche Datensätze, um neuronale Netzwerke zu trainieren und es ihnen zu ermöglichen, verschiedene Formen kultureller Schöpfungen und Artefakte anhand von statistischen Mustern zu verstehen und zu generieren. Während dies erhebliche Chancen für Unternehmen und die Öffentlichkeit bietet, birgt es auch Risiken: Der Missbrauch von KI durch Kriminelle und andere Akteure mit bösartigen Absichten kann das individuelle Wohlergehen gefährden und grundlegende Rechte sowie den sozialen Zusammenhalt untergraben. Generative KI-Systeme sind in der Lage, neue Inhalte wie Texte, Bilder, verschiedene andere Medienformen oder Code zu erzeugen und machen Dual-Use-Überlegungen in Bezug auf KI äußerst komplex (Grinbaum & Adomaitis 2024, Kaffee et al. 2023, Solaiman et al. 2019).
Dual-Use-Dilemmata liegen dann vor, wenn unsicher ist, ob und wie potenzielle negative Folgen des Missbrauchs von Technologie oder Forschungsergebnissen zu verhindern sind, ohne zugleich die prospektiven Vorteile von Forschung und Technik aufzugeben. Diese Dilemmata werfen schwierige Fragen zum Gleichgewicht zwischen den Risiken und Nutzen im Zusammenhang mit der Entwicklung, Verbreitung und Regulierung potenziell gefährlicher Technologien oder Forschungsergebnisse auf. Dual-Use-Bedenken gewannen während des Kalten Krieges an Bedeutung, als Technologien, die ursprünglich für militärische Zwecke entwickelt wurden, wie etwa Kernenergie und biologische Wirk- und Kampfstoffe, ethische Fragen hinsichtlich ihrer potenziellen zivilen Anwendungen aufwarfen. Zugleich verstärkten sich Befürchtungen, dass Entwicklungen mit Dual-Use-Potenzial nicht nur für friedliche, sondern auch für schädliche Zwecke ausgenutzt werden könnten, bis hin zum Einsatz als Massenvernichtungswaffen. Als Antwort entstanden erste Rahmenwerke zur Regulierung und Kontrolle solcher Technologien (Forge 2010, Tucker 2012, Oltmann 2015).
In den Bereichen Informatik und Informationstechnologie liegt die Herausforderung im Zusammenhang mit Dual-Use darin, dass das jeweilige Risiko vom Stand und Prozess der Forschung und Entwicklung der betreffenden Arbeit abhängt, während die Technologie selbst inhärent ambivalent bleibt. Software zeichnet sich durch ihre vielseitige Einsatz- und Anpassungsfähigkeit in sowohl allgemein akzeptierten als auch in schädlichen Kontexten aus und unterscheidet sich dadurch erheblich von den unmittelbar schädlichen Auswirkungen chemischer, biologischer und nuklearer Waffen (Riebe & Reuter 2019). Daher müssen Bewertungen des Dual-Use-Risikos im IT-Bereich auf Fallstudien basieren und die spezifische Verflechtung von genau umrissenen Kontexten und KI-Technologien analysieren. Bis vor wenigen Jahren hat sich die Dual-Use-Debatte in der Informatik hauptsächlich auf Kryptografie (Vella 2017) und die Verbreitung von Spionagesoftware konzentriert – begleitet von ersten Ansätzen in der IT-Sicherheitsforschung (Weydner-Volkmann & Cassing 2023). Die IT-Sicherheitsforschung gewinnt rapide an Bedeutung, da Angriffe auf IT-Systeme erhebliche Auswirkungen auf Einzelpersonen, Unternehmen, Institutionen, Behörden und sogar ganze Gesellschaften haben können (z. B. wenn sie auf kritische Infrastrukturen abzielen). Angesichts der tiefen Integration von IT-Systemen in den Alltag von immer mehr Menschen wird die Sicherheit dieser Systeme zu einer gesellschaftlichen Aufgabe. Digitale Angriffe auf IT-Systeme sind global, anonym und zunehmend – auch durch KI – mit geringem Aufwand durchzuführen.
IT-Sicherheit ist insofern eine Art Querschnittsaufgabe, die verschiedene Aspekte des Dual-Use-Problems in Bezug auf KI betrifft. Aber Technologien wie Maschinelles Lernen und Generative KI verändern die Landschaft der Sicherheitsrisiken für Bürger, Organisationen, Gesellschaften und Staaten in noch deutlich umfassenderer Weise (Brundage et al. 2018, da Empoli & Della Porta 2023). Zu analytischen Zwecken lassen sich drei Bereiche unterscheiden, die in der Praxis jedoch eng miteinander verknüpft sind: Der böswillige Einsatz von KI kann nicht nur die digitale Sicherheit gefährden (z. B. wenn Kriminelle Algorithmen trainieren, um ihre Opfer zu hacken oder zu manipulieren), sondern auch die physische (z. B. wenn nichtstaatliche Akteure Konsumdrohnen bewaffnen) und sogar die politische (z. B. durch Überwachung, Profiling, Eingriffe in die Privatsphäre oder durch automatisierte und zielgerichtete Desinformationskampagnen). Um die Dual-Use-Problematik von Generativer KI zu erörtern, werden zunächst spezifische Merkmale von KI-Systemen vorgestellt, die zu deren Dual-Use-Potentialität beitragen. Im folgenden Abschnitt werden dann Dual-Use-Risikobereiche und zugehörige Beispiele besprochen.
1. Welche Merkmale von KI-Systemen sind für potenzielle Dual-Use-Konflikte relevant?
KI ist also eine Dual-Use-Technologie. KI-Systeme und das Wissen über ihre Entwicklung können sowohl für zivile als auch für militärische Zwecke genutzt werden und sowohl zu vorteilhaften als auch zu schädlichen Zwecken führen (zur Vielfalt an Dual-Use-Definitionen vgl. Rath et al. 2014). Und entsprechende Forschung kann nicht einfach vermeiden, Forschungsprogramme und Systeme zu entwickeln, die schädlichen Zwecken dienen könnten. Viele Aufgaben, bei denen eine Automatisierung durch KI sinnvoll ist, stehen selbst guten und schlechten Zwecken offen: Zum Beispiel haben Systeme, die Software auf Schwachstellen überprüfen, sowohl offensive als auch defensive Anwendungen, und der Unterschied zwischen den Fähigkeiten einer autonomen Drohne, die Pakete liefert, und einer, die Sprengstoff abwirft, kann technisch unerheblich sein. Darüber hinaus ist schon Grundlagenforschung zu den generellen Möglichkeiten von KI und zur Verbesserung ihrer Fähigkeiten und zu Möglichkeiten der menschlichen Kontrolle über sie inhärent von Dual-Use-Problemen betroffen.
In Bezug auf Dual-Use-Probleme teilt der Sektor der KI-Forschung drei wesentliche Aufgaben mit anderen Bereichen, die unter die Kennzeichnung als „Dual Use Research of Concern“ bzw. DURC fallen (Grinbaum & Adomaitis 2024, Riebe 2023). Diese Aufgaben umfassen die Überwachung laufender Entwicklungen, die Einrichtung von Governance- oder Kontrollmechanismen für die zugehörige Forschung und die Bereitstellung von Richtlinien für die Entwicklung und den Umgang mit KI-Anwendungen, die als Dual-Use eingestuft werden. Vier Merkmale tragen zu Dual Use Eigenschaften von KI-Systemen bei: qualitative Vorteile, quantitative Anwendbarkeit, leichte Verbreitung und inhärente Schwachstellen.
(1) KI-Systeme können menschliche Fähigkeiten übertreffen, insbesondere in engen, wohldefinierten Aufgabenbereichen. Beispiele sind Spiele (Schach, Go), diagnostische Bildauswertung (Gewebeveränderungen) und selbst frühe Formen generativer KI können Desinformation produzieren, die größere Wirkung hat als menschlich erzeugte Inhalte (Spitale et al. 2023).
(2) Wie andere erfolgreiche Technologien zeichnen sich KI-Systeme durch Effizienz und Skalierbarkeit aus. Ein KI-System kann menschliche Leistungen hinsichtlich Geschwindigkeit oder Kosten übertreffen, (bislang) meist nach einem vorgängigen spezifischen Training. So arbeiten generative KI-Tools bei der Erstellung von Ausschreibungen, Zusammenfassungen oder sogar wissenschaftlichen Artikeln enorme Textmengen durch. Skalierbarkeit meint zusätzlich die Fähigkeit eines Systems, schnell auch mehrere Instanzen einer Aufgabe zu bewältigen. Beispielsweise zeigt ein Gesichtserkennungssystem, das zur Überwachung verwendet wird, im Vergleich zu menschlichen Analysten sowohl hohe Effizienz als auch Skalierbarkeit, wenn es kostengünstige Analysen über millionenfache Kamerafeeds bietet.
(3) Die Möglichkeit der schnellen Verbreitung von KI-Systemen ist ein weiterer entscheidender Aspekt. Wenn Quellcode in der KI-Forschungscommunity verfügbar ist, können neue Algorithmen vergleichsweise schnell repliziert werden. Diese Softwareportabilität ermöglicht die einfache Verbreitung und Weitergabe von KI-Systemen oder zumindest relevantem Wissen auf digitalen Kanälen. Dieses Merkmal ist besonders relevant in Diskussionen über regulatorische Herausforderungen (wie Exportkontrollen) und betont die Sorgen um die Kontrolle und Überwachung der Softwareverbreitung über nationale Grenzen hinweg, insbesondere im Kontext von Dual-Use-Technologien oder Cybersicherheit (Riebe 2023).
(4) Zeitgenössische KI-Systeme sind mit ungelösten Schwachstellen konfrontiert, darunter sogenannter Data-Poisoning-Angriffe, die Fehler verursachen, täuschende Beispiele (adversarial examples), die das System korrumpieren, indem sie Fehlklassifikationen hervorrufen, und die Ausnutzung von Designfehlern in den Zielen autonomer Systeme (BSI 2023). Prompt Engineering, das einerseits entscheidend für die Optimierung von KI ist, kann missbraucht werden, um Formen der Inhaltsmoderation zu umgehen, wie das Beispiel des „DAN“-Jailbreak-Prompts zeigt („DAN“ steht als Akronym für „Do Anything Now“). Trotz der Reaktion von OpenAI auf dieses Problem bereiten neuere Versionen von DAN den Sicherheitsmechanismen des Modells nach wie vor Probleme (Europol 2023). Solche Schwachstellen werden im weiteren Verlauf der Diskussion über Risikoaspekte im Zusammenhang mit generativer KI näher beleuchtet.
Diese vier genannten Aspekte tragen einzeln, aber vor allem zusammen zu den Herausforderungen bei, die mit dem Dual-Use-Potenzial bestimmter KI-Technologien verbunden sind.
2. Dual Use-Risikobereiche im Zusammenhang mit KI
Zu diskutieren sind mehrere – unter dem Dual-Use Gesichtspunkt – ambivalente oder potenziell negative Anwendungsszenarien, ich nenne sie „Risikobereiche“. Sie erstrecken sich in unterschiedlichem Maße über die drei eingangs vorgestellten sicherheitskritischen Bereiche: digitale, physische und politische Sicherheit, der Bedarf an kritischen Dual-Use-Einschätzungen steigt dabei zunehmend.
2.1 Zielsetzungen für KI und Wertediffusion
Da es nicht trivial ist, Algorithmen so zu gestalten, dass sie im Einklang mit menschlichen Werten oder überhaupt nur mit den Zielen der Programmierung arbeiten, besteht das Risiko einer unbeabsichtigten Differenz zwischen den Ergebnissen der KI und den menschlichen Absichten (Christian 2020). Darüber hinaus können KI-Systeme auch explizit auf fragwürdige Ziele hin trainiert werden und dann Wege finden, diese auf Kosten des individuellen oder gesellschaftlichen Wohlergehens zu verfolgen. Empfehlungsalgorithmen z.B. werden häufig darauf trainiert, die Aufenthaltsdauer und die Klickrate zu maximieren. Entsprechende Inhalte tragen jedoch eher nicht zu einem besseren Wohlbefinden bei (Milano et al. 2021). Zudem können Empfehlungssysteme Menschen dazu bringen, extreme Überzeugungen zu entwickeln, um ihre Präferenzen leichter vorhersagen zu können, wodurch sie selbst besser funktionieren.
2.2 Kompetenz- und Kontrollverlust
Wo Verantwortung zunehmend an Maschinen übertragen wird, besteht die Gefahr, wesentliche Kompetenzen zu verlieren. Der fortschreitende Ersatz oder die Verdrängung menschlicher Intelligenz durch KI-Systeme, getrieben durch die Geschwindigkeit und Kosteneffizienz bei der Erledigung bestimmter Aufgaben, erhöht die Wahrscheinlichkeit eines Kompetenzverlusts sowohl auf individueller als auch auf gesellschaftlicher Ebene. Dieser Trend ist im Hinblick auf kognitive Fähigkeiten problematisch, einschließlich Fertigkeiten in Bereichen wie Forschung, Planung oder Bewertung. Aber auch soziale Interaktionsformen können durch generative KI starken Veränderungen unterworfen werden. Darüber hinaus könnten Unternehmen angesichts der raschen Veränderungen im makroökonomischen Umfeld freiwillig Teile ihrer Kontrolle an KI-Systeme abgeben, um wettbewerbsfähig zu bleiben. Und im militärischen Bereich gibt es eine grundlegende ethische Debatte darüber, welche Kompetenzen und Entscheidungen im Falle von Kriegshandlungen an Maschinen delegiert werden dürfen (Reichberg & Syse 2021, Lucas et al. 2023).
2.3 Anonymität und psychologische Distanz
Zahlreiche kognitive Aufgaben beinhalten die Interaktion und Kommunikation mit Menschen. Dazu gehören Aktivitäten wie Beobachten, Reagieren auf Handlungen, Entscheiden und das Verhandeln gemeinsamer Ziele. Die KI-gesteuerte Automatisierung solcher Aufgaben ermöglicht es Akteuren, anonym zu agieren und dabei eine erhebliche psychologische Distanz zu denjenigen zu wahren, die sie beeinflussen. Zum Beispiel kann derjenige, der ein autonomes Waffensystem für einen Angriff einsetzt, die physische Präsenz am Tatort und den direkten Kontakt mit dem Opfer vermeiden. Diese erhöhte Distanz zeigt sich auch bei Anwendungen wie Chatbots oder Assistenzsystemen im Pflegebereich und spielt insbesondere bei Aktivitäten, die im digitalen Bereich Schaden verursachen (z.B. Social Engineering, Malware, Ransomware) eine zentrale Rolle.
2.4 Datenschutz, Umwidmung und Entanonymisierung von Daten
KI verstärkt nicht nur die Effizienz, sondern transformiert auch das Feld des Datenschutzes und bringt sowohl auf individueller wie auch auf struktureller Ebene Herausforderungen mit sich. Selbst altbackene Datenquellen wie Bezahlkarten für Mensa oder Cafeteria können durch gezielte Fragen nuancierte Informationen über die Gewohnheiten, Zugehörigkeiten und potenziellen Gesundheitsrisiken einer Person enthüllen. Heute gibt es umfangreichen Datensammlungen, die sich u.a. aus den Tools des Internet-of-Things (wie Überwachungskameras, Sprachassistenten und Smartphones), Datenpools (z.B. im Gesundheitswesen, Wohnungswesen, zur Kreditwürdigkeit oder zu Sozialleistungen) sowie aus den riesigen Mengen an Informationen, die von spezialisierten Unternehmen online gesammelt werden, speisen. Diese Daten erlauben umfassende Analysen und erhöhen den Bedarf an robusten Datenschutzmaßnahmen und Medienkompetenzen. Datenschutzprobleme werden mit den Fähigkeiten der KI augenfälliger, wie das Beispiel der chinesischen Stadt Suzhou zeigt, wo KI-gestützte Überwachung Menschen bloßstellte, die in der Öffentlichkeit Pyjamas trugen (Qin 2020). Neben der (potenziell immer totalitären) Überwachung haben Cyberangriffe das Potenzial, erhebliche persönliche Informationen abzugreifen. Besonders bemerkenswert ist der Einsatz eines Modells zur Dosierung von Medikamenten und demografischen Daten, bei dem Angreifer genomische Informationen über Patienten vorhersagen konnten (Fredrikson et al. 2014). Fälle von Identitätsdiebstahl haben dazu geführt, dass Behandlungen unter falschen Namen abgerechnet wurden, was erhebliche finanzielle Folgen nach sich zog (Seh 2020).
2.5 Desinformation und Social-Engineering
Von KI erzeugte Desinformationen, einschließlich überzeugend gestalteten Contents, können zu substantieller individueller und gesellschaftlicher Verwirrung und Zwietracht führen. Akteure wie Staaten, politische Parteien und andere Organisationen nutzen Technologien, um andere von ihren politischen Überzeugungen, Ideologien und Narrativen zu überzeugen. Im Kampf um Aufmerksamkeit könnte KI zu einer neuen Ära führen und personalisierte Kampagnen (einschließlich Desinformation) in bisher unbekanntem Maßstab ermöglichen. KI kann überzeugende, faktisch genaue Argumente formulieren, die intensive emotionale Reaktionen hervorrufen, aber sie öffnet auch Tür und Tor zur Erstellung von Fälschungen und Deepfakes. Generative KI birgt zwei wesentliche Bedrohungen im Hinblick auf das soziale Gefüge in der Online-Welt (Koplin 2023). Die erste Sorge bezieht sich auf den möglichen Missbrauch generativer KI zur Herstellung von „synthetischen“ Fake News, wodurch sich ein ansonsten ressourcenintensiver Prozess automatisieren lässt, der sonst von Menschen durchgeführt wird. Diese Automatisierung ermöglicht es mühelos irreführende Artikel und Posts zu erstellen, um bestimmte Perspektiven zu unterstützen, politische Regime zu diskreditieren oder Produkte, Einzelpersonen oder Unternehmen zu (dis-)liken – je nach Ziel oder Auftrag. Eine zweite Bedrohung betrifft die potenzielle Nutzung der Technologie für Astroturfing und verwandte Aktivitäten, die die Erstellung kohärenter, diversifizierter und v.a. menschlich wirkender Content-Versatzstücke zu beliebigen Themen automatisiert. So lassen sich z.B. soziale Medien mit Posts überfluten, die eine politische Haltung fördern (eben das „Astroturfing“), oder Plattformen mit Bewertungen für bestimmte Produkte überschwemmen (seien es Nagellack oder Aktien). Generative KI kann somit zur Schaffung falscher Eindrücke beitragen und übermäßigen „Lärm“ (noise) erzeugen, der echte Kommentare und sinnvolle Dialoge behindert. Eng mit der Bedrohung durch Online-Lärm verbunden ist die Überflutung mit minderwertigen Inhalten, die sich über verschiedene Bereiche von Clickbait bis hin zu wissenschaftlichen Publikationen erstreckt. Während diese Bedrohungen nicht völlig neu sind, bringt die generative KI eine beispiellose Kapazität mit sich, böswillige oder irreführende Inhalte in großem Maßstab mühelos zu erzeugen und damit bestehende Herausforderungen im Zeitalter der sozialen Medien zu verstärken (Koplin 2023). Diese Risiken werden oft diskutiert, weil sie das Potenzial haben, etablierte Gewohnheiten zu untergraben – von epistemischen Standards bis hin zu sozialer Harmonie. Sie können aber auch zur Destabilisierung demokratischer Systeme beitragen und Teil krimineller Aktivitäten (King et al. 2020, Europol 2023) oder kognitiver Kriegsführung (Miller 2023) sein.
2.6 Kriminalität
Generative KI erweist sich in verschiedenen kriminellen Unternehmungen als äußerst zielführend (King et al. 2020). Wie im letzten Abschnitt erwähnt, setzen kriminelle Akteure auf Social-Engineering-Techniken, die menschliche Neigungen wie Neugier und Angst ausnutzen, um die Preisgabe von sensiblen Informationen oder die Installation von Malware zu erwirken. Mit den fortschreitenden Fähigkeiten von Computerprogrammen in sozialer Interaktion, wie Chatbots, haben sich solche Social-Engineering-Prozesse weiterentwickelt. KI-Systeme tragen dazu bei, indem sie Prozessschritte automatisieren und relevante Informationen online extrahieren, um individuell zugeschnittene betrügerische Websites, Social-Media-Profile, Links oder E-Mails für Spear-Phishing-Angriffe zu erstellen (BSI 2023). Generative KI-Tools zeichnen sich durch die Erstellung hochgradig realistischer Imitationen aus, die die Effektivität von Phishing-Maschen intensivieren – von betrügerischen Investitionsversprechungen bis hin zu CEO-Fraud. Dabei tragen die kontextuell variablen Antworten und adaptiven Schreibstile dieser Tools zur Erfolgsquote sozialer Kriminalität bei. Folglich beschleunigt generative KI die Entwicklung von Phishing- und Online-Betrugsaktivitäten – besonders durch scheinbare Authentizität und die Skalierbarkeit einzelner Prozessschritte (Europol 2023).
Werkzeuge generativer KI können (angehende) Kriminelle bei ihren Überlegungen und Erkundungen unterstützen, wenn sie relevante Informationen aufbereiten und z.B. Schritt-für-Schritt-Anleitungen zur Verfügung stellen. Insbesondere konversationelle KI-Tools werden so zu einem wertvollen Werkzeug, um ohne vorheriges Wissen Einblicke in verschiedene potenzielle Kriminalitätsbereiche zu gewinnen, von Wohnungseinbrüchen bis hin zu Terrorismus, Cyberkriminalität oder sexuellem Missbrauch.
Werkzeuge wie ChatGPT oder Claude generieren nicht nur menschlich wirkende Spracherzeugnisse, sondern auch Code in verschiedenen Programmiersprachen, was sie zu einem wertvollen Instrument für kriminelle Akteure mit begrenzten Programmierkenntnissen macht (Europol 2023). Schutzmaßnahmen gegen bösartigen Code können umgangen werden, indem man Eingabeaufforderungen umformuliert. Ben-Moshe et al. (2023) beschreiben, wie sich mit ChatGPT ein Virusangriff planen und durchführen lässt und dass entsprechende Akteure die Software quasi mit ihrem Erscheinen in der Öffentlichkeit auch für diese Zwecke genutzt haben.
Im Bereich IT-Sicherheit können böse Programme KI nutzen, um automatisch Schwachstellen in IT-Systemen zu identifizieren und auszunutzen, wobei die Entdeckung neuer Schwachstellen durch die Kenntnis bekannter Muster von Code-Schwachstellen beschleunigt wird (BSI 2023). Dies umfasst KI-unterstütztes Fuzzing, eine Technik, bei der zufällige Eingaben verwendet werden, um Software auf Fehler und Sicherheitsprobleme zu testen. Für Angriffe kann das Zeitfenster zwischen der Meldung einer Schwachstelle und ihrer Schließung genutzt werden, indem lernende Systeme gemeldete Schwachstellen mithilfe öffentlich verfügbarer CVE-Nummern (Common Vulnerabilities and Exposures) automatisch identifizieren und angreifen. Diese automatisierte Analyse und Prüfung kann entscheidend für Angreifer sein, die Websites oder Geräte kompromittieren wollen. Angreifer können auch KI nutzen, um Malware basierend auf Erkenntnissen zu optimieren, die durch die Beobachtung der Reaktionen von Sicherheitssystemen während Angriffen gewonnen wurden. Indem sie Modelle gegen frei verfügbare Sicherheitstechnologien trainieren, können Angreifer legitimen Datentransfer simulieren, um böswillige Aktivitäten zu verschleiern. Zum Beispiel kann das Nachahmen menschlichen Verhaltens bei Distributed-Denial-of-Service-Angriffen (DDoS) es Sicherheitssystemen erschweren, Angriffe zu erkennen oder rechtzeitig zu reagieren. Obwohl diese Formen des KI-Missbrauchs mehr von maschinellem Lernen und Automatisierung als von generativer KI abhängen, stellen sie erhebliche Risiken dar, da sie Angriffe verstärken und die Erkennung umgehen oder zumindest erschweren können.
Eng verbunden mit der KI-gestützten Erkennung und Ausnutzung von Schwachstellen sind Authentifizierungsrisiken und Manipulationsbedrohungen (BSI 2023). Die Manipulationsfähigkeiten von generativer KI stellen eine Herausforderung für bild- und sprachbasierte Authentifizierungen in sicherheitskritischen Bereichen dar, wie beispielsweise bei der biometrischen Identifikation für Smartphones, Banking-Apps und bei Sicherheitskontrollen. Schwachstellen werden durch Angriffe mit 3D-gedruckten Masken, Morphing oder Deepfakes attackiert und bestehen trotz der hoch entwickelten Effektivität von KI-Modellen im Feld der biometrischen Identifikation. Anfälligkeiten bestehen sowohl während des anfänglichen Trainings als auch im Live-Betrieb und betreffen verschiedene Anwendungsfälle von KI-Modellen (Berghoff et al. 2021). Szenarien der Datenvergiftung (Data Poisoning) umfassen die absichtliche Manipulation von Trainingsdaten für maschinelles Lernen oder große Sprachmodelle, um Verzerrungen oder ausnutzbare Hintertüren einzuführen. Adversariale Angriffe manipulieren Live-Eingabedaten, um unbeabsichtigte Ausgaben von KI-Modellen hervorzurufen. Morphing-Angriffe täuschen Gesichtserkennungssysteme, indem sie Datensätze verschmelzen (z.B. biometrische Passfotos). Deepfake-Manipulationen, hochwertige Veränderungen von Gesichtern und Stimmen in Videos und Audio erlauben verschiedene kriminelle Aktivitäten wie das Überwinden von Fernidentifikationssystemen, Verleumdung oder Betrug (z.B. „CEO-Fraud“) und unterstreichen die Notwendigkeit der Wachsamkeit gegenüber der Manipulation (medialer) Identitäten in verschiedenen Kontexten (Brewster 2021, Westerlund 2019).
2.7 Krieg und Waffen
Ein vieldiskutierter Sektor im Bereich sich entwickelnder KI-Fähigkeiten sind die Möglichkeiten und die ethischen Implikationen von tödlichen autonomen Waffen (Lethal Autonomous Weapons, LAWS) für den Einsatz in Kriegsszenarien (Horowitz 2021). Während der Fortschritt von KI-Systemen für automatisierte Cyberangriffe größtenteils vertraulich bleibt und nicht öffentlich zugänglich ist (Buchanan et al. 2020), ist davon auszugehen, dass KI-gestützte Waffensysteme und weitere militärische Anwendungen einen erheblichen Einfluss auf das internationale Kräfteverhältnis ausüben werden (Carozza et al. 2022).
Wie im Bereich der Kriminalität gehen mit dem Erstarken von maschinellem Lernen und generativer KI neue Risiken einher, insofern KI Akteure zu theoretischem und praktischem Wissen befähigen kann, die zuvor keinen Zugang zu Waffen mit Massenvernichtungspotenzial hatten. Drei illustrative Fälle verdeutlichen diese Problematik: Das MegaSyn-Modell wurde ursprünglich für die Medikamentenentwicklung konzipiert und stellt eine potenzielle Bedrohung dar, da es leicht umprogrammiert werden kann, um schädliche Moleküle zu entdecken. Durch die Veränderung weniger Parameter im Algorithmus kann so die Entwicklung von biochemischen Waffen vorangetrieben werden (Urbina et al. 2022). Anwendungen wie GPT-4 verfügen über die Fähigkeit, autonom Experimente durchzuführen und Chemikalien in einem realen Labor zu synthetisieren. Sie können dabei ihren Code anpassen, um eigenständig Protokolle auszuführen (Boiko et al. 2023). Ein Beispiel für die einfache Zugänglichkeit solcher Informationen haben Studierende am MIT aufgezeigt, die zuvor keine Kenntnisse über Dual-Use-Biotechnologie hatten: Sie demonstrierten, wie leicht sich verfügbare Daten über Viren mit pandemischem Potential, Bezugsquellen für Ausgangsmaterialien und Labore mit laxen Sicherheitskontrollen für die Synthese schädlicher Substanzen in Erfahrung bringen lassen (Soice et al. 2023).
3. Was folgt?
Während die dargestellten Risiko- und Anwendungsbereiche keinen umfassenden Überblick über alle potenziellen Dual-Use-Probleme bieten, die zu berücksichtigen sind, geben sie doch Aufschluss über die Bandbreite der Möglichkeiten. In Bezug auf die diskutierten Risikoaspekte, die digitale, physische und soziale oder politische Bedrohungen durch KI umfassen, lassen sich über eine Taxonomie verschiedene Szenarien für den Missbrauch von KI-Technologie und KI-Forschungsergebnissen aufzeigen. Zusätzlich lassen sich drei Arten von Folgen von Missbräuchen feststellen: Erstens gibt es die Erweiterung bestehender Angriffsstrategien, wie etwa die Automatisierung von Forschung durch Kriminelle für personalisierte Spear-Phishing-Angriffe oder die Ausnutzung anfälliger IT-Systeme auf Basis von CVE-Nummern. Zweitens entstehen mit der Entwicklung von KI neue Bedrohungen, darunter gezielte Angriffe auf Schwachstellen von KI-Systemen, autonome Waffen, eine Erleichterung des Zugangs zu potenziell gefährlichen Informationen durch generative KI oder die vereinfachte Umsetzung böser Absichten wie bei der Entdeckung tödlicher Moleküle durch maschinelles Lernen. Drittens können Angriffe ihren Charakter ändern und KI-Fähigkeiten zur effektiven und effizienten Skalierung nutzen. Beispiele hierfür sind umfassendes Social Engineering, kognitive Kriegsführung, Identitätsdiebstahl in den Sektoren Medizin oder Finanzen und generell Ansätze zur De-Anonymisierung.
Was folgt aus der geschilderten Lage? Für eine konsequentere Berücksichtigung von Dual-Use-Überlegungen in KI-Projekten scheint es mir entscheidend, Einzelfälle innerhalb einer Taxonomie zu identifizieren und zu bewerten (Brenneis 2024, Grinbaum & Adomaitis 2024, BSI 2023, EUROPOL 2023, Brundage et al. 2018). Während die Bedrohungen durch generative KI und maschinelles Lernen möglicherweise nicht so offensichtlich oder unmittelbar katastrophal sind wie diejenigen, die mit chemischen, biologischen, radiologischen oder nuklearen Gefahrstoffen verbunden sind, sollten sie nicht unterschätzt werden. Große Sprachmodelle, die prima facie keine großflächige physische Zerstörung und keinen unmittelbaren Schaden verursachen, können dennoch erhebliche Auswirkungen haben (Koplin 2023, Hansel & Silomon 2023). Diese Bedrohungen können sich auf weniger offensichtliche, indirekte oder graduelle Weise manifestieren, was die Erkennung und Vorhersage im Vergleich zu traditionellen Formen der Dual-Use-Betrachtungen und des Dual-Use-Research-of-Concern erschwert. Daher ist es unerlässlich, die potenziellen Risiken und Implikationen der KI-Forschung und -Entwicklung zu erkennen, zu systematisieren und anzugehen. Diese Verantwortung liegt bei der wissenschaftlichen Gemeinschaft und sollte Institutionen wie Forschungsethik-Kommissionen, wissenschaftliche Gesellschaften und Forschungsförderer einbeziehen (Brenneis et al. 2024, ZEVEDI 2023). Mit dem Fortschritt der KI-Fähigkeiten müssen die Diskussionen über Dual-Use-Research-of-Concern erweitert werden, um Szenarien des Missbrauchs durch KI-Forschung einzuschließen und eine effektive Überwachung und Governance für entsprechende Forschung und Entwicklung zu ermöglichen. ■
Literatur
Ambrus, Èva (2020): Artificial Intelligence as Dual-use Technology. AARMS 19(2), S. 19–28.
Ben-Moshe Sharon/Gekker, Gil/Cohen, Golan (2022): OpwnAI: AI that can save the day or hack it away. [online] Check Point, 19.12.2022. https://research.checkpoint.com/2022/opwnai-ai-that-can-save-the-day-or-hack-it-away/ [29.08.2024].
Berghoff, Christian/Neu, Matthias/von Twickel, Arndt (2021): The Interplay of AI and Biometrics: Challenges and Opportunities. In: Computer 54 (9), S. 80–85. DOI: 10.1109/MC.2021.3084656.
Boiko, Daniil/ Gomes, Gabe/MacKnight, Robert (2023): Emergent autonomous scientific research capabilities of large language models. [online] https://arxiv.org/abs/2304.05332 [29.08.2024].
Brenneis, Andreas (2024): Assessing dual use risks in AI research: necessity, challenges and mitigation strategies. In: Research Ethics. DOI: 10.1177/17470161241267782.
Brenneis, Andreas/Gehring, Petra/Lamadé, Annegret (2024): Zwischen fachlichen Standards und wilder Innovation: Zur Begutachtung von Big Data- und KI-Projekten in Forschungs-Ethikkommissionen. In: Ethik in der Medizin. DOI: 10.1007/s00481-024-00811-y.
Brewster, Thomas (2021): Fraudsters Cloned Company Director’s Voice In $35 Million Heist, Police Find. [online] Forbes, 14.10.2021. https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud-uses-deep-fake-voice-tech-to-steal-millions/ [29.08.2024].
Brundage, Miles et al. (2018): The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. [online] https://arxiv.org/abs/1802.07228 [29.08.2024].
BSI (2023): AI security concerns in a nutshell – Practical AI-Security guide. [online] https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Practical_Al-Security_Guide_2023.html [29.08.2024].
Buchanan, Ben/Bansemer, John/Cary, Dakota/Lucas, Jack/Musser, Micah (2020): Automating Cyber Attacks: Hype and Reality. Center for Security and Emerging Technology, November 2020. DOI: 10.51593/2020CA002.
Christian, Brian (2020): The Alignment Problem. Machine Learning and Human Values. New York: W. W. Norton & Company.
Da Empoli, Stefano/Della Porta, Maria Rosaria (2023): The Impact of Generative AI. In: PromethEUs: Artificial Intelligence: Opportunities, Risks and Regulation. S. 33–47. [online] www.prometheusnetwork.eu/publications/prometheus-publication-artificial-intelligence-opportunities-risks-and-regulations/ [29.08.2024].
EUROPOL (2023): ChatGPT – The impact of Large Language Models on Law Enforcement. [online] https://www.europol.europa.eu/publications-events/publications/chatgpt-impact-of-large-language-models-law-enforcement#downloads [29.08.2024].
Forge, John (2010): A note on the definition of “dual use”. Science and Engineering Ethics, 16 (1), S. 111–118. DOI: 10.1007/s11948-009-9159-9.
Fredrikson, Matthew/Lantz, Eric/Jha, Somesh/Lin, Simon/ Page, David/ Ristenpart, Thomas (2014): Privacy in Pharmacogenetics: An End-to-End Case Study of Personalized Warfarin Dosing. Proc USENIX Secur Symp, S. 17–32. [online] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4827719/ [29.08.2024].
Grinbaum, Alexei/Adomaitis, Laurynas (2024): Dual use concerns of generative AI and large language models. In: Journal of Responsible Innovation 11(1). DOI: 10.1080/23299460.2024.2304381.
Hansel, Mischa/Silomon, Jantje (2023): On the Peace and Security Implications of Cybercrime. A Call for an Integrated Perspective. IFSH Institute for Peace Research and Security Policy: Research Report #12. DOI: 10.25592/ifsh-research-report-012.
Horowitz, Michael (2021): When speed kills: Lethal autonomous weapon systems, deterrence and stability. In: Sechser, T. (Hrsg.): Emerging Technologies and International Stability. London: Routledge, S. 144–168.
King, Thomas/ Aggarwal, Nikita/Taddeo, Mariarosaria/Floridi, Luciano (2020): Artificial Intelligence Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions. In: Science and engineering ethics 26 (1), S. 89–120. DOI: 10.1007/s11948-018-00081-0.
Koplin, Julian (2023): Dual-use implications of AI text generation. In: Ethics Inf Technol 25 (2), S. 1–11. DOI: 10.1007/s10676-023-09703-z.
Lucas, George/Helkala, Kirsi Marjaana/Syse, Henrik/Barret, Edward (Hrsg.) (2023): Ethical Challenges in AI-enhanced Military Operations. Frontiers Media SA. DOI: 10.3389/978-2-8325-2896-9.
McLean, Scott/Read, Gemma/Thompson, Jason/Baber, Chris/Stanton, Neville/Salmon, Paul (2023): The risks associated with Artificial General Intelligence: A systematic review. In: Journal of Experimental & Theoretical Artificial Intelligence 35 (5), S. 649–663. DOI: 10.1080/0952813X.2021.1964003.
Milano, Silvia/Taddeo, Mariarosaria/Floridi, Luciano (2021): Ethical aspects of multi-stakeholder recommendation systems. In: The information society 37 (1): S. 35–45.
Ntoutsi, Eirini et al. (2020): Bias in data‐driven artificial intelligence systems – An introductory survey. In: WIREs Data Min & Knowl 10 (3). DOI: 10.1002/widm.1356.
Oltmann, Shannon (2015). Dual use research: Investigation across multiple science disciplines. In: Science and Engineering Ethics, 21 (2), S. 327–341. DOI: 10.1007/s11948-014-9535-y.
Qin, Amy (2020): Chinese City Uses Facial Recognition to Shame Pajama Wearers. In: The New York Times, 21.01.2020. [online] https://www.nytimes.com/2020/01/21/business/china-pajamas-facial-recognition.html [29.08.2024].
Raji, Inioluwa Deborah/Kumar, Elizabeth/Horowitz, Aaron/Selbst, Andrew (2022): The Fallacy of AI Functionality. In: FAccT ‘22: 2022 ACM Conference on Fairness, Accountability, and Transparency. New York: ACM, S. 959–972.
Rath, Johannes/Ischi, Monique/Perkins, Dana (2014): Evolution of different dual-use concepts in international and national law and its implications on research ethics and governance. In: Science and Engineering Ethics 20(3), S. 769–790. DOI: 10.1007/s11948-014-9519-y.
Reichberg, Gregory/Syse, Hendrik (2021): Applying AI on the Battlefield: The Ethical Debates. In: von Braun, Joachim et al. (Hrsg.): Robotics, AI, and Humanity. Cham: Springer International Publishing, S. 147–159.
Riebe, Thea/Reuter, Christian (2019): Dual-Use and Dilemmas for Cybersecurity, Peace and Technology Assessment. In: Reuter, Christian (Hrsg.): Information Technology for Peace and Security. Wiesbaden: Springer Nature, S. 165–183.
Riebe, Thea (2023): Technology Assessment of Dual-Use ICTs. How to Assess Diffusion, Governance and Design. Wiesbaden: Springer.
Seh, Adil Hussain/Zarour, Mohammad/Alenezi, Mamdouh/Sarkar, Amal Krishna/Agrawal, Alka/Kumar, Rajeev/Khan, Raees Ahmad (2020): Healthcare Data Breaches: Insights and Implications. In: Healthcare 8 (2). DOI: 10.3390/healthcare8020133.
Soice, Emily/Rocha, Rafael/Cordova, Kimberlee/Specter, Michael/Esvelt, Kevin (2023): Can large language models democratize access to dual-use biotechnology? [online] http://arxiv.org/pdf/2306.03809.pdf [29.08.2024].
Solaiman, Irene et al. (2019): Release Strategies and the Social Impacts of Language Models. [online] OpenAI Report November 2019. https://arxiv.org/abs/1908.09203 [29.08.2024].
Spitale, Giovanni/Biller-Andorno, Nikola/Germani, Federico (2023): AI model GPT-3 (dis)informs us better than humans. In: Science Advances 9 (26). DOI: 10.1126/sciadv.adh1850.
Tucker, Jonathan (Hrsg.). (2012): Innovation, Dual Use, Security: Managing the Risks of Emerging Biological and Chemical Technologies. Cambridge, Massachusetts: The MIT Press.
Urbina, Fabio/Lentzos, Fillipa/Invernizzi, Cédric/Ekins, Sean (2022): Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, S. 189–191. DOI: 10.1038/s42256-022-00465-9.
Westerlund, Mika (2019): The Emergence of Deepfake Technology: A Review. In: Technology Innovation Management Review 9 (11), S. 39–52.
Weydner-Volkmann, Sebastian/Cassing, Kaya (2023): Forschende in der Angriffsrolle. Zum besonderen forschungsethischen Bedarf in der IT-Sicherheit. In: ZfPP 10 (1), S. 79–104. DOI: 10.22613/zfpp/10.1.3. ZEVEDI (2023). Research Ethics for AI Research Projects. Guidelines to Support the Work of Ethics Committees at Universities. [online] https://zevedi.de/wp-content/uploads/2023/02/ZEVED_AI-Research-Ethics_web_2023.pdf [29.08.2024].
Zitiervorschlag
Brenneis, Andreas (2024): Generative KI und Dual-Use: Risikobereiche und Beispiele. In: Verantwortungsblog. https://zevedi.de/generative-ki-und-dual-use-risikobereiche-und-beispiele/ [07.11.2024]. https://doi.org/10.60805/by6z-fb49
Inwiefern transformiert die digitale Revolution das Leben selbst? Und müssen wir andere Formen von Überleben finden? Verantwortung heißt Spekulation. Ein Gespräch mit dem Philosophen Armen Avanessian.
Armen Avanessian im Gespräch mit Konstantin Schönfelder | 25.10.2024
Erstellt mit Adobe Firefly, Prompt: „a picture from planet earth seen from the moon in far distance, grey and black“
V: Sie schreiben häufig implizit und explizit über und an die Zukunft. Muss sich ein Philosoph aus Ihrer Sicht aus der Perspektive der Zukunft mit der Gegenwart beschäftigen?
AA: Also nicht nur ein Philosoph. Das war immer schon eines der Merkmale von spekulativem Denken oder spekulativer Philosophie – die übrigens viel kritisiert wurde, es gibt eine ganze moderne kritische Tradition, die sich dem entgegenstellt. Das Wort Spekulation hat zudem aus finanzökonomischen Gründen nicht die allerbeste Reputation. Ich denke aber, dass das nicht nur für Philosophen und Philosophinnen, sondern für die Gesellschaft generell von Bedeutung ist, und zwar nicht nur wegen des üblichen „Wir müssen wieder mehr Imagination wagen“, sondern um zeitgemäß zu sein in einer Zeit, die mehr und mehr von nichtmenschlichen Intelligenzen beeinflusst ist. Formen von Algorithmen, von künstlichen Intelligenzen, die sehr viel über die Zukunft wissen, nicht nur mehr mutmaßen, sondern wissen und aus diesem Zukunftswissen heraus die Gegenwart steuern: Diesbezüglich up to date zu sein – das betrachte ich geradezu als staatsbürgerliche Pflicht und auch eine entscheidende gesellschaftliche Herausforderung.
V: Ist es das, was Sie an der Digitalität interessiert – dass sie uns etwas sagt über die Gegenwart und Vergangenheit einerseits, uns aber auch Anhaltspunkte dafür geben kann, wie das Leben künftig aussehen kann?
AA: Da müsste man unterscheiden. Einmal gibt es die Digitalisierung, mit der viele gesellschaftliche Veränderungen einhergehen. Dann aber gibt es noch die medientheoretischen oder real erlebbaren Veränderungen: Was bedeutet es für unsere Kultur, mit dem Digitalen – einer so massiven medientechnologischen Veränderung konfrontiert zu sein, die ungefähr auf der gleichen Stufe steht wie der Buchdruck oder der Erfindung der Schriftlichkeit? Diese neue Situation ist in jedem Falle auf einer fundamentaleren Ebene angesiedelt als diejenige von Eisenbahn oder Telefon! Und zu Ihrer Frage, was die Digitalisierung für unser Leben bedeutet: da würde ich Leben in einem emphatischen Sinn verstehen wollen. Inwiefern transformiert die digitale Revolution das biologische Leben selbst, nicht einfach nur unseren Lebensalltag? Die Fragen, die uns jetzt gesellschaftlich beschäftigen, sind ja von dieser Art: Was ist das dem Menschen Eigentümliche? Ist es die Intelligenz? Gibt es andere als kohlenstoffbasierte Intelligenzen? Was macht Kommunikation zwischen den Menschen aus? Diese Veränderungen sind medientechnologische, aber zugleich auch biologische Transformationen.
V: Ist das eine schöne Welt, die Sie da sehen?
AA: Die Frage, die ich mir stelle, ist zunächst eher für wen und in welchem Zeithorizont – für mich, meine Kinder, die Spezies Mensch – gibt es Gründe zur Sorge, wenn kein Umdenken stattfindet, das die Tiefe des technologischen Einschnitts anerkennt? Der Buchdruck hat ein paar Jahrhunderte massive Transformationen, Bürgerkriege, Religionskriege usw. provoziert und erst dann eine völlig neue Welt mit Nationalstaaten und Aufklärung gebracht. Das war kein gewaltfreier Transformationsprozess. Wo setzt man zur Analyse an, um ein Urteil wie „schön“ zu treffen? Ich bin ja kein Futurologe! Aber wenn Sie mich persönlich fragen, würde ich sagen, es gibt Grund zur Annahme, dass es vehemente Verwerfungen in den nächsten 50 Jahren geben wird. Schätzungen sprechen von 800 Millionen Menschen, die ihren Geburtsort oder ihren Wohnort wechseln müssen auf Grund massiver Beeinträchtigungen durch Klimaveränderungen. Das betrifft die Grundlagen unserer politischen Selbstverständnisse. Und da spielt die Digitalisierung hinein, denn vergessen wir nicht: Die demokratisch-liberalen Nationalstaaten sind mit dem Buchdruck entstanden und möglicherweise verschwinden sie in dieser Form auch wieder mit der digitalen Medienrevolution. Danach kommen nicht unbedingt wieder Feudalherrschaft oder Faschismen, aber möglicherweise etwas anderes, aber mutmaßlich grundsätzlich Neues, das wir noch gar nicht absehen können.
V: Die tiefgreifenden und schnellen Veränderungen, die Sie beschreiben, kommen auch in Ihrem Buch Flüchtigkeitsmanagement vor. Ist das „dauerhaft Flüchtige“ etwas genuin Digitales?
AA: Mich hat zunächst interessiert, dass das Flüchtige ja quasi eine jahrtausendelange anthropologisch-kulturelle Konstante ist. Hinzu kommt dann dieses Klischee, dass alles mit der Moderne immer flüchtiger und dann noch schneller wird. Daran knüpfen auch nostalgische Theoreme von der Entschleunigung oder Achtsamkeit an. Mich hat interessiert, ein Gegennarrativ zu entwickeln: Die Moderne thematisiert Flüchtigkeit auf einmal völlig neu, auf diversen ästhetischen, ökonomischen, technologischen Ebenen wird Flüchtigkeit virulent und auf einmal auch sehr positiv konnotiert. Denn zugleich, ohne dass es den Protagonisten immer wirklich ausreichend bewusst ist, entstehen parallel dazu effiziente Techniken, um diese Flüchtigkeit profitabel und fruchtbar zu machen, sie künstlerisch zu nobilitieren etc. Die Digitalisierung spielt da eine fundamentale, aber spätere Rolle. Die gefühlte Beschleunigung kommt nicht erst mit ihr in die Welt. Sie greift vielmehr diese Dialektik zwischen einer beschleunigten, also zwischen einer immer vehementer verflüchtigten Welt auf, auf die wiederum stets mit Entflüchtigungen reagiert wird. Diese – im emphatischen Sinne moderne – Flüchtigkeit wird nur durch eine solche Doppelbewegung von Verflüchtigung und Entflüchtigungverstehbar, es ist nicht nur das eine oder das andere. Das lässt sich prinzipiell auch an Digitalisierung zeigen.
V: Können Sie das näher beschreiben? Operieren die Systeme, sagen wir zum Beispiel in der Finanzindustrie, in ihrer digitalen Form immer schneller und flüchtiger? Gibt man in einer flüchtigen Welt Verantwortung ab?
AA: Grundsätzlich ist Verantwortung an eine Kontrollmöglichkeit gekoppelt. Es bedarf eines bestimmten Wissens und einer bestimmten zeitlichen Kongruenz. Und das ist in vielen Fällen fragwürdig. Was andersherum nicht heißt, dass die schweren Verwerfungen, die wir in den letzten Jahren erleben, auch infolge der Finanzkrise 2007/8 und der darauffolgenden finanzpolitischen Maßnahmen, also Austeritätspolitik, Sparmaßnahmen usw., nicht auch Verantwortungsträger kannte. Es waren nur scheinbar außer Kontrolle geratene, nicht mehr verantwortbare Finanzierungsmodelle. Es gab sehr wohl Verantwortlichkeiten dahinter, die man hätte erkennen können oder Lehren, die zu ziehen wären, wenn der finanzpolitische Willen dazu existierte. Vielleicht kann man es so sagen: Es wird zeitlich komplizierter. Die demokratische Überprüfbarkeit wird komplexer und nimmt größere Zeit in Anspruch. Das heißt, die Kontrollmechanismen sind oft nicht mehr so schnell wie die entstehenden Probleme. Im Finanzsektor etwa haben wir eine ungeheure Schnelligkeit, Trading und Finanzkonstruktionen, die auch, um den Beginn ihrer Fragen nochmal aufzunehmen, sehr stark aus der Zukunft operieren, die zukünftige Preisannahmen machen etc. Zugleich haben wir in einem anderen, tieferliegenden Problembereich in unserer Gesellschaft zu tun, nämlich mit Blick auf den Klimawandel so etwas, das auch slow violence genannt wird wie Massensterben oder Ansteigen von Meeresspiegel, die sich eben nicht plötzlich und medienwirksam vor unseren Augen vollzieht. Wir haben es hier mit Verbrechen und Gewaltphänomenen zu tun, mit denen wir uns schwertun, sie als solche zu erkennen, weil sie sich nicht in singulären Akten, in augenscheinlichen Brutalitäten äußern, sondern sich über Jahrzehnte entwickeln. Sobald gesellschaftlich durchgesickert ist, dass da ein Problem möglicherweise im Entstehen ist, ist es schon nicht mehr aufzuhalten. Angstvoll starren wir dem entgegen und wissen nicht, wann das und welche Konsequenzen das haben, wann es überhaupt begonnen haben könnte. Hat das Anthropozän vor 50 Jahren oder vor 150 Jahren oder mit der Kolonialisierung Amerikas begonnen bzw. Schon der kulturellen Nutzung des Feuers begonnen? Unklar ist auch, wer die Verantwortlichen sind: Ist es der Kapitalismus? Ist es unsere Konsumsucht? Ist es die abendländische Rationalität? Wer kann darauf antworten? Wer ist unser Ansprechpartner in der Vergangenheit? Und wem gegenüber haben wir Verantwortung in der Zukunft? Auf welche Zukunft hin planen wir? Drei Generationen oder dreißig? Wir sind auf einmal mit einem völlig veränderten Zeithorizont beschäftigt.
V: Also schnell und langsam, permanent und flüchtig.
AA: Ja, eine ungeheure Schnelligkeit, eine extreme Langsamkeit – die tiefenzeitlichen Horizonte reichen mehrere hundert Jahre zurück. Und wie viele Jahrhunderte, Jahrtausende, Jahrmillionen „planen“ wir in die Zukunft bzw. sind wir verpflichtet zu planen, nachdem wir nunmehr wissen, dass all unser Handeln solche tiefenzeitlichen Konsequenzen hat oder haben kann?
V: Ich finde es interessant, dass, während Sie so sprechen, sich wie selbstverständlich konkrete Fragen des Digitalen und der Flüchtigkeit mit den „großen“, tiefenzeitlichen Fragen des Planeten und des Klimawandels vermischen.
AA: Wir müssen lernen, dass beides nicht mehr zu trennen ist. Das ist die nicht nur zeitphilosophische Aufgabe unserer Generation, die wir mit der Digitalisierung in den letzten Jahrzehnten ein so konkretes und ungeheures Wissen über den Planeten und seine Entwicklung gesammelt haben. Das ist wirklich ungeheuerlich! Wir wissen besser als nie, was die letzten viereinhalb Milliarden Jahre passiert ist und wir wissen relativ viel von dem, was sich in den nächsten Jahrhundertmillionen möglicherweise wie entwickelt.
V: Das versteht sich für mich jetzt noch nicht von selbst. Können Sie genauer beschreiben, wie der Klimawandel mit der Digitalisierung zusammenhängt?
AA: Meine These – nicht nur meine, aber auch meine These ist: Es ist kein Zufall, dass sie gleichzeitig auftreten. Da sind zunächst mal der sehr wichtige, aber noch oberflächliche Aspekt, dass die Digitalisierung, insbesondere die KI zu einem Umweltfaktor oder Umweltproblem wird, allein durch die enormen Energieressourcen, die sie verschlingt. Das wäre ein eigenes Thema für sich. Und vieles von dem, was zur Entstehung von Digitalisierung und KI beigetragen hat – denken Sie nur an die Materialien und die geologischen Veränderungen – ist für den Klimawandel mitverantwortlich. Auf der anderen Seite wüssten wir gar nicht in dieser Weise etwas über den Klimawandel, hätten wir nicht diese digitalen Instrumente. Wir müssen erst einmal lernen, was es heißt, den Planeten zu bewohnen (so lautet ja die Einstiegsfrage aus Daniel Falbs und meinem aktuellen Buch Planeten Denken), das heißt, ein so weitreichendes Wissen um seine Veränderlichkeit zu entwickeln, wie wir es heutige erstmals haben. Denn wir wissen davon ja überhaupt nur, weil der Planet überzogen ist von Milliarden an Sensoren, künstlichen Intelligenzen etc., die Dinge beschreiben, wahrnehmen, erkennen, die uns ansonsten entgehen würden bzw. dem homo sapiens bislang verborgen geblieben waren, der von einer wundersamen von Gott für ihn eingerichteten oder stabilen Natur oder Klima ausging (das ökologische Denken ist da weiterhin hemmungslos theologisch oder metaphysisch und jedenfalls anthropozentisch). Erst die digitalen Mittel geben uns die Möglichkeit, einen Klimawandel wahrzunehmen, von ihm zu sprechen, oder gar für ihn die Verantwortung übernehmen zu können inklusive der Einsicht, dass Klima sich immer schon verändert und es uns Menschen überhaupt nur dank von uns mitverursachter planetarischer Trancormationen gibt wie einem entsprechenden CO2-Level etc.
V: Ein Teufelskreis?
AA: Ja, es gibt Theoretiker, die diese diabolische Frage gestellt haben: War es das wert, das zu erkennen? Dass wir all das anstellen, was wir anstellen als Menschheit, um letztlich nur zu erkennen, dass wir fähig sind, etwas derartig Weitreichendes anzustellen? Ich denke wiederum, man müsste das mit Blick auf die Zukunft beantworten: Wir wissen, was unser Potenzial, was unser Beitrag zur Klimaveränderung ist. Es gibt eine bestimmte Tendenz, die das Leben hat, nämlich sich exzessiv auszubreiten auf Kosten anderer Spezies – inklusive der eigenen (dass es schon frühere mass extinctions gab, darf freilich keinesfalls unser skandalöses Handeln oder Nichthandeln heute entschulden). Aber wir sind vielleicht die ersten, die faktisch darum wissen. Nun muss man sich fragen: Was machen wir mit dieser Einsicht?
V: Also die Frage stellen, wie wir Verantwortung übernehmen?
AA: Ja, wir könnten jetzt mit Kant und der Aufklärung argumentieren. Denn das ist schon ein entscheidendes Moment der Aufklärung: Die Frage, ob wir diese Aufklärung über uns und was Leben ausmacht, verkraften können. Ob wir das, was wir getriggert haben, auch verantworten können. Wir wissen um die Klimaveränderung dank der Digitalisierung und künstlichen Intelligenzen, die einen Beitrag zu den Problemen leisten. Leugnen wir es weiter oder kommt das Wissen in unserer Gesellschaft, in unseren politischen Institutionen, in unseren Planungsoperatoren von nun an wirklich vor? Bleibt es doch nur ein abstraktes Interview oder ein Buch oder beginnt es politisch intelligentes Handeln zu informieren? Stand Sommer 2024 müssen wir sagen: Dieses Wissen ist noch nicht in der Gesellschaft wirksam und also nicht wirklich angekommen.
V: Verantwortung könnte ja einerseits heißen, dass man bestimmte Korrektive einrichtet, um Dinge, die falsch gelaufen sind, neu zu justieren, oder dass man regulatorische Entscheidungen trifft, die einen verantwortlichen Rahmen schaffen. Aber es gibt nun diesen dritten Aspekt, über den wir hier auch sprechen: Verantwortung kann eine Art Fürsorge um die Zukunft meinen. Entscheidend wäre dann, dass man so handelt, dass nicht nur jetzt, sondern auch in hundert oder tausend Jahren als vernünftig eingeschätzt werden kann, was wir – heute – tun. Aber eine Zukunft, die immer schwerer absehbar wird, weil sich die Gegenwart immer rascher verändert, lässt diese Art der Nachhaltigkeit kaum zu. – Stimmt das?
AA: Fürsorge, Nachhaltigkeit, Regulation, das sind aber alles Modelle, die von der Hoffnung getragen sind, dass es noch irgendwie so weitergeht, innerhalb des von uns so geschätzten bzw. Für uns im globalen Norden so vorteilhaften Paradigmas. Mit mehr Elektroautos, mehr grünem Strom etc. So hat unser liberales, sogenanntes demokratisches Modell funktioniert. Man produziert Innovationen, die werden sich schon noch durchsetzen und nachhaltige Energie produzieren und nachhaltige Produktionsprozesse hervorbringen. Die Lebensstandards werden haltbar sein. Doch was, wenn nicht? Ich möchte nicht super pessimistisch auftreten, man darf weder in Dystopismus noch in einen Technokratismus verfallen, sonst können wir die Verantwortung an die künstlichen Intelligenzen abgeben. Aber zur Wahrheit zählt: Unser status quo wird unmöglich haltbar sein. Wir müssen andere Formen von Überleben produzieren. Wäre es dafür nicht notwendig, sich langsam von diesen Illusionen des nachhaltigen, fürsorglichen Handelns abzuwenden? Zugespitzt formuliert: „Nachhaltigkeit“ ist das Opium für das Volk.
V: Was schlagen Sie statt der Nachhaltigkeitsforderung vor?
AA: Wir wissen, dass wir 2050 ein paar 100 Millionen Klimaflüchtlinge haben. Es ist anzunehmen, dass wir 2063 einen Höhepunkt an Bevölkerung auf dem Planeten haben. Wir wissen ungefähr, wie viel Fläche uns auf der Erde zur Verfügung steht. Unserer nebenbei bemerkt niemals einfach natürlichen oder künstlichen Intelligenz steht ein schier endloses Zukunftswissen zur Verfügung. Nur warum hat das so wenig Einfluss auf unser Handeln? Denn das wäre der entscheidende Horizont! Natürlich ist es sehr kompliziert. Natürlich gibt es sehr viele Faktoren, die wir nicht abschätzen können. Das ist, was ich „Hyper-Antizipation“ nenne: Dass wir ständig bombardiert werden und ich Sie jetzt bombardiere mit, 2050 wird das sein, 2063 wird möglicherweise der Höchststand an Bevölkerung auf dem Planeten sein, 2035 könnte ein tipping point erreicht sein etc. Wir stecken permanent im antizipatorischen Paradigma. Aber auf der anderen Seite ist es doch fulminant, das zu wissen und diese Probleme zumindest angehen zu können. Die Temperaturen werden steigen und nicht aufhören zu steigen bei 1,5 Prozent, weil wir bereits dort angekommen sind. Mit der „Nachhaltigkeit“ wird es jedenfalls nicht funktionieren.
V: Sie sind also doch ein Pessismist.
AA: Nein, ich sage ja nicht, die Menschheit wird aussterben. Einstweilen werden wir ja mehr. Und bei allen Verbrechen und all der Verantwortungslosigkeit, die die Menschheit verursacht, auch gegenüber anderen Spezies, ist von einem Unlebbarwerden des Planeten überhaupt nicht zu sprechen. Dem widersprechen ja die Zahlen. Wie kann eine Gattung, die sich in 100 Jahren verdreifacht hat und alle zwölf Jahre noch eine Milliarde zulegt, davon sprechen, dass ihr Planet für sie unlebbar wird. Wir nennen das in unserem Buch „Habitabilitätseskalation“. Aber es gibt ein großes Problem, dass wir diese absehbaren, massiven Veränderungen nicht einpreisen in unser Handeln, weder als Individuen noch als Gesellschaft noch als planetarische Gemeinschaft. Das ist einfach ein Versagen. Und es ist verantwortungslos. Statt für 10 Milliarden Menschen auf einem sich absehbar verändernden Planeten zu planen, bauen wir Mauern zwischen Nationalstaaten und wollen unseren Kontinent abschotten.
V: Woran, glauben Sie, liegt das?
AA: Man kann sagen, das ist vielleicht die Dummheit der Spezies. Sie kann mit exponentiellen Entwicklungen und mit bestimmten Zeithorizonten einfach nicht umgehen. Aber ich glaube nicht an die Spezies. Ich glaube nicht an den Menschen. Ich glaube an die Intelligenz. Und das ist 2024 eine von sogenannter künstlicher oder maschineller Intelligenz mitbefeuerte Intelligenz. Es wird nicht möglich sein, nachhaltig dafür zu sorgen, dass der Meeresspiegel da bleibt, wo er ist (wenn er in der tiefenzeitlichen Vergangenheit vermutlich schon hunderte Meter höher und tiefer war). Aber es könnte doch möglich sein, einem Vielfachen der Menschen, die vor 500 Jahren auf dem Planeten gelebt haben, ein gutes Leben zu ermöglichen. Auch wenn sehr viele Lebenszonen, die wir heute kennen, für Jahrhunderte oder Jahrtausende nicht mehr bewohnbar sein werden.
V: Dann müssten wir unter diesen Vorzeichen auch unseren Begriff von Verantwortung völlig neu denken?
AA: Es gibt einen radikalen Ansatz, der mir immer sehr abstrakt schien. In der französischen Nachkriegsphilosophie, etwa bei Levinas und Derrida, taucht ein Prinzip einer radikalen Verantwortung auf. Einer Verantwortung, der man nie gerecht werden kann – die nicht gegenüber den Menschen gilt, die man liebhat, der Familie usw. – sondern dem absolut Fremden. Ich habe viel darüber nachgedacht, was es heißt, seinen Kindern gegenüber, auch solchen, die man noch gar nicht hat, Verantwortung zu übernehmen. Der Sache der radikalen Alterität gegenüber Verantwortung zu zeigen, gerade weil sie einem nichts zurückverspricht, weil es einem nicht zurückgeben kann oder will oder weil es sie möglicherweise nie geben wird. Diese radikale, wenn man so will, tiefenzeitliche Perspektive der Verantwortung ist für mich sehr konkret geworden mit Blick auf die Phänomene, über die wir hier sprechen.
V: Haben die Konzepte der Nachhaltigkeit und Fürsorge in Ihren Augen dann nur ausgedient, oder haben Sie immer schon Illusionen produziert?
AA: Also im Dienste der Deutlichkeit und für ein zugespitztes Finale: Diese Begriffe sind Teil einer Denkweise, die uns systematisch den Sinn vernebelt, was der wirkliche Zeithorizont ist. Die Vorstellung, dass die Natur von den bösen Menschen verantwortungsloserweise verändert wurde und wir jetzt wieder dafür sorgen müssen, dass diese arme Natur wieder so wird, wie sie vorher war, damit es uns wieder gut geht, ist aus Sicht von allem, was wir astrobiologisch und physikalisch wissen, völlig falsch gedacht. Es hindert uns auch daran, diese massive evolutionäre Transformation, in der wir uns befinden, voll zu begreifen. Ich würde mir wünschen, dass wir beginnen anders zu denken, zu schreiben, zu leben und zu handeln, auch politisch, und zwar im Angesicht dieses spekulativen Horizonts aus der Zukunft. Zurückschrauben geht nicht, so hat das in der Evolution nie funktioniert.
Philosophische Grundlagen von Corporate Digital Responsibility und Responsible AI Ein kritischer Systematisierungsvorschlag
Responsible AI, Corporate Digital Responsibility – diese und andere, auf die Verantwortungsfrage hindeutende Begriffe werden an Unternehmen, die den digitalen Wandel maßgeblich vorantreiben, nicht nur herangetragen, sie tragen sie auch vor sich her. Handelt es sich dabei um bloße Buzzwords oder halten sie der philosophischen Betrachtung stand? Was ergibt sich aus dieser Betrachtung?
Von Christian Neuhäuser | 10.10.2024
Erstellt mit Adobe Firefly. Prompt: „painting in the style of expressionism: a geometric network forming a scale; colors: blue, yellow, green“
Eine wichtige Aufgabe der Philosophie besteht darin, neue soziale Entwicklungen zugleich wohlwollend und kritisch zu begleiten. In gegenwärtigen Gesellschaften sind der Ausbau einer Digitalwirtschaft und der Fortschritt künstlicher Intelligenz offensichtlich solche Entwicklungen. Im öffentlichen Diskurs wird viel über Corporate Digital Responsibility und Responsible AI gesprochen (Dörr 2000; Gehring 2023; Almeida 2024). Die Tatsache, dass die Kernbegriffe als Anglizismen erhalten bleiben, soll wie in der Wirtschaft üblich eine gewisse Dynamik und Fortschrittlichkeit zum Ausdruck bringen. Aus philosophischer Sicht interessanter ist die zentrale Rolle des Verantwortungsbegriffs. Von Verantwortung ist gerade in wirtschaftlichen Kontexten eigentlich immer dann die Rede, wenn einerseits große Gefahren ausgemacht werden und andererseits eine Regulierungslücke in dem Sinne besteht, dass gesetzliche Vorgaben diese Gefahren nicht hinreichend einhegen und manchmal auch nicht hinreichend einhegen können.
Der philosophische Beitrag zu Debatten um solche Konzepte wie Corporate Digital Responsibility und Responsible AI besteht nicht darin, den Verantwortungsbegriff als philosophischen Begriff reklamieren zu können. Verantwortung ist zuerst ein praktischer und dann ein philosophischer Begriff (Maring 2010). Der Beitrag der Philosophie besteht auch nicht in einer normativen oder gar moralischen Richterfunktion (Neuhäuser/Seidel 2022). Zwar neigen nicht wenige Philosoph:innen dazu, sich selbst diese Rolle zuzuschreiben und nicht selten wird sie auch angenommen. Aber eigentlich haben Philosoph:innen keine besonderen moralischen Hoheitsrechte. Ihre Rolle ist bescheidener und beinhaltet zweierlei: Erstens besteht sie in Systematisierungen, in denen im besten Falle detaillierte Analysen und differenzierte Phänomenbeschreibungen zusammenkommen. Das kann den Blick auf neue Herausforderungen, Chancen und Probleme schärfen. Zweitens können Philosoph:innen vor dem Hintergrund einer jahrtausendealten Tradition normative einschließlich moralischer Empfehlungen und Ratschläge liefern, die allerdings auch als solche zu verstehen sind.
Zu beidem sollen die folgenden Überlegungen zu Corporate Digital Responsibility und Responsible AI einen Beitrag liefern. Den Ausgangspunkt dafür bildet eine Explikation des Verantwortungsbegriffs als vierstellige Relation (Lenk 1991). Damit ist schlicht gemeint, dass der Verantwortungsbegriff in praktischen Kontexten sehr häufig vier Aspekte miteinander verbindet, die sich in vier Fragen formulieren lassen: 1. Wer ist verantwortlich? 2. Wofür besteht Verantwortung? 3. Was sind die normativen Maßstäbe dieser Verantwortung? 4. Wem gegenüber besteht diese Verantwortung? Es sind noch weitere Relationen denkbar, aber dies sind sicherlich die wichtigsten (Sombetzki 2014). Alle vier Fragen mithilfe einer philosophischen Methodik auf die Begriffe der Corporate Digital Responsibility und der Responsible AI anzuwenden, kann dabei helfen, diese Konzepte zu schärfen, aber auch ihre gegenwärtigen Schwächen aufzudecken. In diesem Text kann dies nicht umfassend, sondern nur beispielhaft und schlaglichtartig geschehen. Aus Platzgründen beschränken sich die folgenden Überlegungen auf die erste, dritte und vierte Frage. Dabei soll ein Augenmerk auf Lücken im gegenwärtigen Diskurs liegen.
1. Wer ist verantwortlich?
Die Formulierung „responsible AI“ legt nahe, dass die künstliche Intelligenz selbst eine Verantwortung besitzt. Unter gegenwärtigen Bedingungen spricht jedoch wenig dafür, dass KI über Verantwortungsfähigkeit verfügt (Coeckelbergh 2020). Sie kann nicht selbstständig nach normativen Kriterien verschiedene Handlungsalternativen gegeneinander abwägen, sondern nur nach vorgegebenen Regeln entscheiden. Da sie jedoch neue Algorithmen und Routinen auf der Grundlage vorgegebener Regeln entwickeln kann und die Verlaufspfade unter Umständen nicht mehr nachvollziehbar sind, entsteht eine Verantwortungslücke: KI selbst besitzt nicht die Fähigkeit, eigenverantwortlich zu entscheiden. Selbst Entwickler:innen können die Entscheidungen von KI manchmal nicht mehr nachvollziehen (Almeida 2024). Daraus entsteht eine normative Frage höherer Ordnung: Wann sind Verantwortungslücken akzeptabel und wann sind bestimmte Entwicklungen von KI, die zu solchen Lücken führen, nicht zu verantworten? In einem Kraftwerk ist eine Verantwortungslücke sicherlich nicht akzeptabel, bei personalisierter Werbung im Onlinehandel vielleicht schon. Die zentrale Frage lautet aber: Wer soll das entscheiden?
Das Konzept von Corporate Digital Responsibility soll darauf eine Antwort liefern. Die Idee ist stark an den älteren Begriff von Corporate Social Responsibility angelehnt (Dörr 2020). Der Idee zufolge haben Unternehmen dann eine Verantwortung für soziale oder eben nunmehr auch digitale Belange, die über gesetzliche Vorgaben hinausgehen. Die digitale Verantwortung geht weiter als eine Verantwortung für KI und deren Entscheidungen, schließt das aber mit ein. Hinzu kommen noch weitere wichtige Bereiche. Dazu zählen beispielsweise die Auswirkungen der Digitalisierung auf die Arbeitswelt und vor allem einen möglichen Verlust zahlreicher Arbeitsplätze. Hinzukommt auch das geringe Vertrauen von Verbraucher:innen in digitale Prozesse und insbesondere die Furcht vor Überwachung. Dazu zählen auch mögliche Auswirkungen auf die Umwelt und die Frage der Nachhaltigkeit. All diese Dinge sind unter dem Konzept Corporate Digital Responsibility zusammengefasst (Dörr 2020).
Darüber hinaus bleiben jedoch viele grundlegende Fragen offen. Die erste dieser Fragen betrifft wieder den Akteur der Verantwortung. Sind mit „Corporate“ die Unternehmen selbst gemeint oder vielmehr nur individuelle Akteure, die im Unternehmenskontext agieren, wie beispielsweise Top-Manager:innen? In der wirtschaftsnahen Literatur wird diese Frage oft gar nicht erwähnt oder nur am Rande gestreift und bleibt weitgehend ungeklärt. Doch sie ist wichtig. Denn aus philosophischer Sicht spricht viel dafür, dass Unternehmen selbst verantwortungsfähige Akteure sein können, weil sie über die dafür notwendigen Eigenschaften verfügen (List 2022). Wenn das stimmt, entsteht jedoch sofort die Folgefrage, welche Verantwortung ihnen zukommt, welche Verantwortung einzelne Akteure oder Akteurs-Gruppen haben und wie sich diese verschiedenen Verantwortlichkeiten zueinander verhalten. Bleibt diese Folgefrage ungeklärt, entsteht schnell eine Verantwortungsdiffusion. Das Konzept von Corporate Digital Responsibility läuft dann Gefahr, ähnlich wie vor einiger Zeit schon das Konzept Corporate Social Responsibility zu einem bloßen Buzz-Wort zu werden und eher dem „white washing“ zu dienen, als echte Arbeit zu leisten.
2. Was sind die normativen Maßstäbe der Verantwortung?
Ähnlich wie bei Corporate Social Responsibility wird durch das „Digital“ in Corporate Digital Responsibility bestimmt, um welchen Verantwortungsbereich es geht. Er betrifft die Entwicklung digitaler Technologien und die sich daraus ergebenden Herausforderungen für die Gestaltung der Arbeitswelt, der Konsumsphäre und der Nachhaltigkeit, aber auch von solchen Bereichen wie Unternehmensprozessen, Zielsteuerungen und Produktdesigns (Dörr 2000; Bertelsmann Stiftung u.a. 2020). Der Begriff Responsible AI ist demgegenüber besonders vage, aber wahrscheinlich noch breiter angelegt (vgl. z.B. IBM 2024; PwC 2024a). Offen bleibt in beiden Formulierungen, welche normativen Maßstäbe für die Bestimmung von Verantwortung angelegt werden. Oft wird auf die Idee der Nachhaltigkeit als Verbindung sozialer, ökonomischer und ökologischer Belange hingewiesen. Digitale Entwicklungen sollen dann in diesen Bereich eingebunden werden. Gleichzeitig wird nach einem Business Case für die Verantwortungsübernahme gesucht. Sie soll sich also ökonomisch lohnen oder zumindest keinen ökonomischen Schaden anrichten (Dörr 2020; Bertelsmann Stiftung u.a. 2020; ConPolicy 2024).
Bei Lichte betrachtet werden dabei jedoch alle anderen Belange einem ökonomischen Maßstab untergeordnet. Das alte Prinzip von der Gewinnmaximierung bleibt so systembeherrschend. Mit echter Verantwortung hat das jedoch nur wenig zu tun. Analytisch betrachtet treffen im Wirtschaftssystem verschiedene Verantwortungsformen je nach normativem Maßstab aufeinander (Neuhäuser 2016). Dazu gehört eine rechtliche Verantwortung, sich an geltende Gesetze zu halten. Dazu gehört auch eine politische Verantwortung, zu allgemeinverbindlichen Regulierungen zu kommen, wo es sie noch gibt. Fraglos gehört dazu auch eine ökonomische Verantwortung, effizient und langfristig wirtschaftlich zu sein. Vor allem gehört dazu aber eine moralische Verantwortung, negative Pflichten nicht zu verletzen und positive Pflichten zu erfüllen (Nida-Rümelin 2011). Negative Pflichten bestehen darin, keinen Schaden anzurichten, beispielsweise durch Überwachungstechnologien oder die Verdrängung von Menschen in den ökonomischen Ruin. Positive Pflichten bestehen darin, Hilfe zu leisten, wo dies angebracht ist, beispielsweise indem auf big data beruhendes medizinisches Wissen allgemein zur Verfügung gestellt wird.
Nun haben dem üblichen Verständnis nach moralische Pflichten gegenüber anderen Verantwortlichkeiten einen Vorrang (ebd.). Mit einer rechtlichen Verantwortung stehen sie im günstigen Fall im Einklang, aber mit politischen und ökonomischen Verantwortungen gibt es häufig Konflikte. Es ist aufgrund von Marktmacht für die riesigen digitalen Unternehmen aus den USA möglich, bestimmte politische Entscheidungen einfach zu erzwingen. Aber das ist moralisch offensichtlich falsch, weil undemokratisch (Zuboff 2018). Es ist auch möglich, digital erworbenes Wissen teuer zu verkaufen, insbesondere wenn es lebensnotwendig ist. Aber auch das ist moralisch wahrscheinlich falsch, weil es etwa im medizinischen Kontext im Konflikt mit der Menschenwürde steht. Hier geht es nicht um die Frage, ob die moralischen Urteile in den Beispielen mit Sicherheit zutreffen. Das wäre ausführlich zu zeigen. Es geht allein darum, dass moralische Verantwortung einer ökonomischen und politischen Verantwortung prinzipielle Grenzen auferlegt. Genau das wird in Konzepten wie Corporate Digital Responsibility und Responsible AI systematisch übersehen. Stattdessen ist davon die Rede, dass diese Verantwortungsübernahmen freiwillig seien. Wenn damit nur gemeint wäre, dass sie rechtlich nicht vorgeschrieben sind, dann wäre das auch in Ordnung. Aber sehr häufig wird so getan, als sei sie ganz beliebig. Daher kommt auch die Überzeugung, dass sie leicht einem ökonomischen Imperativ untergeordnet werden können. Das ist jedoch ein Ausverkauf der Moral. Sie ist nämlich nicht beliebig, sondern verbindlich.
3. Wem gegenüber besteht diese Verantwortung?
Oft wird die Frage nicht adressiert, gegenüber wem eine Verantwortung für digitales Wirtschaften und das Handeln von KI besteht. Die implizite Annahme scheint dann zu sein, dass individuelle Manager:innen rechtlich dem Rechtssystem, wirtschaftlich den Eigentümer:innen oder Märkten und politisch ihren Kolleg:innen gegenüber verantwortlich sind. Moralisch hingegen sind sie nur ihrem Gewissen verpflichtet. Vielleicht liegt das daran, dass solche Konzepte häufig im Kontext von Beratungsliteratur auftauchen und sich Berater:innen dann als gewissermaßen externalisiertes Gewissen von Manager:innen anbieten (Dörr 2020; ConPolicy 2024). Sollte sich dieser Verdacht erhärten, dann wäre das jedoch dem Vorwurf eines modernen Ablasshandels ausgesetzt. Die Berater:innen lassen sich dann vielleicht dafür bezahlen, ein gutes Gewissen zu liefern.
Wenn das Thema doch aufkommt, dann ist schnell der Stakeholder-Ansatz zur Stelle (Freeman 2010). Demgegenüber müssen alle möglichen Stakeholder eines Unternehmens oder eines KI-Handelns in einen Diskurs eingebunden sein, weil ihnen gegenüber eine Diskursverantwortung besteht. Das ist einerseits ein Fortschritt, weil dann beispielsweise die User einer KI zu Wort kommen oder die Anwohner:innen eines Unternehmensstandorts. Gleichzeitig bleiben in diesem Ansatz jedoch auch viele Fragen offen (Neuhäuser 2016). Wer entscheidet, wer Stakeholder ist? Wer entscheidet, wer wirklich gehört wird und wer nicht? Vor allem aber: Was folgt daraus? Diskursverantwortung ist, wenn überhaupt, nur Teil eines sich Verantworten-müssens. Solange Stakeholder keine wirkliche Macht haben, Manager:innen und Eigentümer:innen von digitalen Unternehmen und KI zur Verantwortung zu ziehen, haben sie auch keine echte Verantwortung. Wenn es zutrifft, dass es bei der Digitalisierung der Wirtschaft um unsere Zukunft geht, dann stellt sich daraus unmittelbar die Frage, was echte Verantwortlichkeit verlangt. Vielleicht ist das nicht weniger als eine richtige Stakeholder-Demokratie in diesem Wirtschaftssektor.
Fazit
Eine philosophische Reflexion auf den Diskurs um Corporate Digital Responsibility einschließlich Responsible AI zeigt, dass einige grundlegende Fragen weiterhin offen sind. Dabei handelt es sich nicht nur um Fragen von rein theoretischem und akademischem Interesse, sondern sie haben eine praktische und öffentliche Dimension. Die Bürger:innen haben einen Anspruch auf eine Klärung solcher Fragen wie diejenigen, wer eigentlich genau verantwortlich gemacht wird, welchen Stellenwert moralische Maßstäbe tatsächlich haben und wie die Verantwortung letztlich eingefordert wird. Diese Fragen nicht ehrlich zu beantworten, sondern wortreich zu umschiffen, schafft kein Vertrauen, sondern zerstört es. Zudem verspielt es auch guten Willen, weil sich die Menschen veräppelt vorkommen, und zwar zu Recht. ■
Literatur
Bertelsmann Stiftung/Wittenberg-Zentrum für Globale Ethik (Hg.). Unternehmensverantwortung im digitalen Wandel. Gütersloh: Bertelsmann Stiftung 2020.
Coeckelbergh, Mark (2020): Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability. In: Science and Engineering Ethics 26 (4), S. 2051-68.
de Castro Almeida, Inês (2024): Responsible AI in the Age of Generative Models: Governance, Ethics and Risk Management. o.O.: Now Next Later AI 2024.
ConPolicy: Corporate Digital Responsibility, [Webseitentext 2024] https://www.conpolicy.de/themen/corporate-digital-responsibility. [29.05.2024].
Dörr, Saskia (2020): Praxisleitfaden Corporate Digital Responsibility: Unternehmerische Verantwortung und Nachhaltigkeitsmanagement im Digitalzeitalter. Berlin: Springer Gabler 2020.
Freeman, R. Edward et al. (2010): Stakeholder Theory: The State of the Art. Cambridge: Cambridge University Press 2010.
Gehring, Petra (2023): Transparenz, Erklärbarkeit, Interpretierbarkeit, Vertrauen: Digitalethische Doppelgänger des Verantwortungsbegriffs. In: Deutsche Zeitschrift für Philosophie 71 (2023), Heft 5. S. 629-645.
IBM: What is responsible AI? [Webseitentext 2024] https://www.ibm.com/topics/responsible-ai [27.05.2024].
Lenk, Hans (1991): Zwischen Wissenschaft und Ethik. Frankfurt am Main: Suhrkamp Verlag 1991.
List, Christian (2022): Group Responsibility. In: Dana Kay Nelkin/Derk Pereboom (Hg.): The Oxford Handbook of Moral Responsibility. New York: Oxford University Press 2022; S. 131-154.
Maring, Matthias (Hg.): Verantwortung in Technik und Ökonomie. Karlsruhe: Universitätsverlag Karlsruhe 2008.
Neuhäuser, Christian/Seidel, Christian (2022) Was ist Moralismus? Über Zeigefinger und den Ort der Moral. Stuttgart: Reclam 2022.
PwC: Corporate Digital Responsibility und Digitale Ethik, [Webseitentext 2024b] https://www.pwc.de/de/nachhaltigkeit/corporate-digital-responsibility-und-digitale-ethik [29.05.2024].
Sombetzki, Janina (2014): Verantwortung als Begriff, Fähigkeit, Aufgabe. Eine Drei-Ebenen-Analyse. Wiesbaden: Springer VS.
Zuboff, Shoshana (2018): Das Zeitalter des Überwachungskapitalismus. Frankfurt am Main/New York: Campus Verlag 2018.
Zitiervorschlag
Neuhäuser, Christian (2024): Philosophische Grundlagen von Corporate Digital Responsibility und Responsible AI. Ein kritischer Systematisierungsvorschlag. In: Verantwortungsblog. https://zevedi.de/philosophische-grundlagen-von-corporate-digital-responsibility-und-responsible-ai-ein-kritischer-systematisierungsvorschlag/ [10.10.2024]. https://doi.org/10.60805/a58k-r453
Immerhin noch die Menschenrechte. Die aus der Zeit gefallene Ethik der Gesellschaft für Informatik
Während viele Wissenschaftsdisziplinen seit langem Ethikstandards pflegen und auch Forschungs-Ethikkommissionen dort alle kritischen Forschungsprojekte begutachten, erwischt die Frage nach Forschungsethik die Informatik – jedenfalls in Deutschland – augenscheinlich auf dem falschen Fuß. Denn weder gibt es derzeit (für Forschungen, die sich zu Recht in jeder gesellschaftlichen Hinsicht als „disruptiv“ verstehen) informatische Ethikkommissionen noch besitzt überhaupt die Gesellschaft für Informatik Ethikstandards, in welchen etwa das Thema „KI“ vorkommt. Unsere Autorin hat nachgelesen.
Von Petra Gehring | 26.09.2024
Erstellt mit Adobe Firefly. Prompt: „signpost in a digital space, data streams, many directions; impressionist, minimalistic; colors: shades of gray“
Große Fachgesellschaften im Ingenieursbereich haben eine professionsethische Tradition. Man ist sich der Gefahren bewusst, für die man im Engineering Verantwortung übernimmt. So besitzen die Elektroingenieure und der Maschinenbau straffe Verhaltenskodizes, in einigen Ländern schon seit Ende des 19. Jahrhunderts. Und solche Kodizes werden auch weiterentwickelt. Ähnlich wie im medizinischen Standesrecht gibt es ein Sanktionssystem (Approbationen können entzogen werden), es gibt die Pflicht zum Whistleblowing für Zeugen von Fehlverhalten (mitsamt Schutzzusagen für Whistleblower) und mehr. Ebenso gibt es in vielen Fachdisziplinen forschungsethische Standards: Sobald Forschungsvorhaben Versuchspersonen einbeziehen, kritische Daten nutzen oder auch, wenn sogenannte „Dual Use“-Aspekte berührt werden könnten, kommt Forschungsethik ins Spiel. Fachlich einschlägige Ethikkommissionen bewerten dann Projektpläne, die die Rolle von Versuchspersonen und Datengebenden beschreiben, nicht aber eine professionsethische Pflichterfüllung einer Einzelperson.
Und in der in Deutschland so genannten Informatik, die in anderen Ländern zumeist Computer Science heißt?
Ein wenig Close Reading
„Die Gesellschaft für Informatik e.V. (GI) ist eine gemeinnützige Fachgesellschaft, die sich zum Ziel gesetzt hat, die Informatik in Deutschland zu fördern.“ So heißt es in der Wikipedia, die Homepage der GI selbst schildert es kaum anders: „Die Gesellschaft für Informatik e.V. (GI) ist mit rund 16.000 persönlichen und 250 korporativen Mitgliedern die größte und wichtigste Fachgesellschaft für Informatik im deutschsprachigen Raum und vertritt seit 1969 die Interessen der Informatikerinnen und Informatiker in Wissenschaft, Wirtschaft, öffentlicher Verwaltung, Gesellschaft und Politik.“ (GI 2024)
Ähnlich einer großen Ingenieursvereinigung ist man also öffentliche Interessensvertretung und wissenschaftliche Fachgesellschaft in einem. Und wer auf der Webseite nach „Ethik“ sucht, wird ebenfalls fündig: Die GI hat unter dem Titel Unsere Ethischen Leitlinien eine Art Professionsethik formuliert. Es handelt sich um ein Dokument, das in Form von Abschnitten bzw. Artikeln recht locker die humanistischen Ziele des Informatikberufs umschreibt. Überarbeitet wurde das Dokument, das von 1994 stammt, genau zweimal: in den Jahren 2004 und 2018.1 Dabei ist es kürzer geworden, und es sind nicht viel neue Themen hinzugekommen, sondern vor allem Dinge verloren gegangen. So betonte man bis 2004 die Notwendigkeit „Interdisziplinärer Diskurse“ in einem eigenen Abschnitt (§ 13). Die Fassung von 2018 thematisiert das nicht mehr. Das Adjektiv „interdisziplinär“ ist stattdessen an eine unauffällige Stelle der Präambel gerutscht.2 Ebenso ist die zuvor mehrmals aufgeführte Vorbildfunktion, die man erfüllen möchte, nur noch im Bereich „Lehren und Lernen“ erwähnt. Besonders interessant: das Schicksal des Stichwortes „Zivilcourage“. 1994 gibt es einen Abschnitt, der unter diesem Titel ermutigt, in Situationen, in denen Pflichten der GI-Mitglieder „gegenüber ihrem Arbeitgeber oder einem Kunden im Konflikt zur Verantwortung gegenüber Betroffenen stehen, mit Zivilcourage zu handeln“. (Art. 9, Fassung von 1994) Und 2004 werden die der Gesellschaft angehörigen Informatiker im betreffenden Abschnitt dazu ermuntert, falls ihre Pflichten „gegenüber Arbeitgebern oder Kundenorganisationen in Konflikt mit der Verantwortung gegenüber anderweitig Betroffenen stehen, mit Zivilcourage zu handeln“ (Art. 10, Fassung von 2004). Die geltende Fassung von 2018 zieht sich demgegenüber schlicht auf Art. 1 des Grundgesetzes zurück, womit Zivilcourage nurmehr im Falle von Grundrechtsverletzungen gefragt wäre: „Das GI-Mitglied tritt mit Mut für den Schutz und die Wahrung der Menschenwürde ein, selbst wenn Gesetze, Verträge oder andere Normen dies nicht explizit fordern oder dem gar entgegenstehen. Dies gilt auch in Situationen, in denen seine Pflichten gegenüber Auftraggebenden in Konflikt mit der Verantwortung gegenüber anderweitig Betroffenen stehen.“ (Art. 9, Fassung von 2018) Immerhin findet man jetzt – neu – einen vorsichtigen Hinweis auf Whistleblowing ergänzt: „Dies kann in begründeten Ausnahmefällen auch den öffentlichen Hinweis auf Missstände einschließen.“ (ebd.) „Begründete Ausnahmefälle“ – das klingt allerdings so, als müsse man vor der Erwägung, zivilcouragiert zu agieren, zwecks rechtssicherer Begründung erst einmal ein Anwaltsbüro konsultieren.
Partizipation als Mittel gegen Überwachung – und neue Präambel
Bei der Lektüre der Fassung von 2018 fällt ein – dann doch – neuer Art. 11 unter der Überschrift „Ermöglichung der Selbstbestimmung“ auf. Hier heißt es, GI-Mitglieder wirken auf die Beteiligung der „von IT-Systemen Betroffenen an der Gestaltung dieser Systeme und deren Nutzungsbedingungen hin“. Der Nachsatz, der dann folgt, ist nur ein einziger. Er lautet: „Dies gilt insbesondere für Systeme, die zur Beeinflussung, Kontrolle und Überwachung der Betroffenen verwendet werden können.“ Ganz offenkundig besagt er, im Umkehrschluss, nichts anderes, als dass mit dem Hinwirken auf die Beteiligung Betroffener etwaige ethisch-politische Bedenken von Informatikerinnen und Informatikern hinsichtlich Verhaltensbeeinflussung und Überwachung abgearbeitet und erledigt sind. Partizipation ersetzt Bewertung. Wobei nicht einmal Zustimmung der Betroffenen gefordert ist. Partizipation ersetzt aber auch die Frage nach Macht. Denn von der Professionsverantwortung für professionstypische Wissensvorsprünge – Betroffene sind Laien und können Techniken gerade nicht so tiefgreifend abschätzen wie der Experte – spricht dieser Artikel die Informatik mit einiger Nonchalance geradezu frei.
Stark verändern sich auch – abgesehen davon, dass im Dokument von 2018 die (zuvor ausführlichen) Begriffsdefinitionen verschwunden sind – über die drei existierenden Versionen hinweg die Präambeln, die den Leitlinien ein Stück weit ihren Status zuweisen. 1994 wünscht sich die GI, „daß berufsethische Konflikte Gegenstand gemeinsamen Nachdenkens und Handelns werden“; sie will „Mitglieder, die sich mit verantwortungsvollem Verhalten exponiert haben“, „unterstützen“ sowie „vor allem“ den „Diskurs über ethische Fragen in der Informatik mit der Öffentlichkeit aufnehmen und Aufklärung leisten“. Es würden zudem „Verfahren“ gebraucht, um „die Zusammenhänge zwischen individueller und kollektiver Verantwortung zu verdeutlichen“ und wohl auch für die Verantwortung selbst, was Einzelne zumeist überfordere. In diesem Sinne „binde“ sich die GI an die Leitlinien, heißt es zum Schluss.
2004 ist die Präambel um ihren letzten Absatz gekürzt: Die Sache mit den Verfahren und der individuellen und kollektiven Verantwortung fällt weg. Zu Anfang ist ein Verweis ergänzt, demzufolge man sich auf „allgemeine moralische Prinzipien, wie sie in der Allgemeinen Deklaration der Menschenrechte formuliert sind“ verpflichtet. 2018 finden wir dann an der Stelle, an der es früher um die Vielfalt von Lebensformen bzw. Lebensweisen ging (mit der das Handeln von Informatikerinnen und Informatikern „in Wechselwirkung“ stehe), einen neuen Text: „Die GI-Mitglieder setzen sich dafür ein, dass Organisationsstrukturen frei von Diskriminierung sind und berücksichtigen bei Entwurf, Herstellung, Betrieb und Verwendung von IT-Systemen die unterschiedlichen Bedürfnisse und die Diversität der Menschen.“ Die ersten beiden Versionen der Leitlinien enthielten überdies den Satz „Der offene Charakter“ „dieser Forderungen“ (1994) bzw. „der nachfolgenden Artikel“ (2004) werde „mit dem Begriff der Leitlinien unterstrichen“. 2018 finden wir hierzu einen ganz neuen, deutlich abschwächenden Kontext geschaffen: „Der offene Charakter der nachfolgenden Artikel macht deutlich, dass es keine abschließenden Handlungsanweisungen oder starren Regelwerke für moralisch gebotenes Handeln geben kann.“ (Präambel, Fassung von 2018). Hieran anschließend lässt sich eine interessante Bilanz ziehen: Während einerseits der Text der Leitlinie schrittweise immer stärker lediglich das als „ethisch“ anführt, was ohnehin geltendes Recht ist, wird andererseits unterstrichen, um Regel oder Handlungsanweisungen gehe es gerade nicht. Sondern lediglich um „moralisch gebotenes Handeln“. Entsprechend scheint auch die Frage nach Verfahren – ob nun Organisation des Dialogs mit der Gesellschaft oder so etwas wie eigene standesrechtliche Kommissionen und Instanzen – im Laufe der Zeit in den Hintergrund gerückt zu sein. War „Ethik“ in den 1990er Jahren soziale oder auch aufklärerische Verpflichtung und 2004 immerhin eine „Unterstützung“ für den Fall, dass man sich exponiert, so scheint sie 2018 im Wesentlichen auf das Bekenntnis zusammenzuschrumpfen, dass Informatikerinnen und Informatiker gewillt sind, sich an Grundrechte und einige andere der in Deutschland geltenden Gesetze zu halten.
Produktentwicklung vs. Forschung?
Fragt man sich spezifisch nach der forschungsethischen Kultur der Informatik, hilft die Leitlinie kaum weiter, dabei scheint sie nach wie vor die einzige Regulation in Sachen Ethik zu sein,3 und auf deren partizipative Vergangenheit ist man auch stolz.4 Mit dem Stand „2018“ scheint man zufrieden. Dramatische Debatten über „KI“ geben der KI-Forschung – was Ethik und Qualitätssicherung angeht – interessanterweise ebenso wenig Impulse wie die breit geführte Debatte darüber, ob es im Bereich der Entwicklung von Algorithmen (nichtlernenden oder lernenden) so etwas wie Grundlagenforschung überhaupt noch gibt. LLM sind ja auch dafür ein Beispiel: OpenAI ist eine Firma, die aber für generische Forschung stand und auch öffentlich gefördert worden ist. Aus der vermeintlichen Grundlagenforschung wird nun quasi durch Umlegen eines Schalters plötzlich ein Produkt. Wenn dies so ist – und es geschieht im Fall von ChatGPT ja nicht zum ersten Mal – dann wirkt das auf die Grundlagenforschung an Algorithmen und Software, die zur Entwicklung mindestens beiträgt, zurück. Was dann eben auch ein Grund dafür ist, dass man sich in der Forschung nicht einfach drauf zurückziehen kann, dass man ja lediglich Grundlagen erforsche, und erst viel später und ganz weit weg beginne die Anwendungsrelevanz. Und damit dann auch das Kontrollinteresse der Gesellschaft.
Fazit?
Vergleiche zeigen, dass einerseits beispielsweise in den USA Fachgesellschaften deutlich detailliertere, strengere, häufiger aktualisierte und vor allem mit dem Hinweis auf Enforcement Procedures und Ethikkommissionen hinterlegte Ethikkodizes haben – man klicke etwa auf die Ethikinformationen der ACM.5 Auch die Förderorganisation NSF geht zum Thema ins Detail (vgl. National Academies 2022).
Andererseits scheint beispielsweise die deutsche Gesellschaft für Sprachtechnologie und Computerlinguistik gar keinen Ethikkodex zu besitzen und weist auch in Zeit großer Sprachmodelle (LLM) nicht auf eventuelle gesellschaftliche Debatten oder Konflikte hin. Dass auch die Gesellschaft für Informatik weder die neue EU-Gesetzgebung rund um Künstliche Intelligenz (Data Act, AI Act) noch die Debatte um den flächendeckenden Einsatz von KI-Tools seit der weltweiten Freischaltung von ChatGPT durch eine Aktualisierung ihrer Ethikaussagen beantwortet hat, zeigt schon das Erscheinungsdatum: Die Leitlinie wurde vor sechs Jahren zuletzt verändert.
Nun muss man nicht der Meinung sein, dass Ethikkodizes überhaupt etwas anderes sind als heiße Luft. Zumal, wenn sie sehr allgemein formuliert sind, jede Art von Regelcharakter ablehnen und auch auf Durchsetzungsinstrumente oder Sanktionsverfahren verzichten, fehlen ihnen die Merkmale, die etwa das ärztliche Standesrecht hat. Angewandte Ethik wiederum bleibt vielfach eher ein Feld des Palavers, dank welchem man sich an immer neue Tabubrüche eher gewöhnt, als disruptiver Technologieentwicklung wirklich Schranken zu setzen. Ethikkodizes verraten also vielleicht einfach nur, wie diejenigen ticken, die meinen, etwas Ethisches aufschreiben zu müssen, wobei sie kritische Aspekte dessen, was sie tun, jedoch im Grunde wenig interessieren. Sagen wir es also mal so: Auch in dieser Hinsicht – bei der Produktion einer bloß pflichtschuldigen Ethik – gehen in der deutschen Informatik die Uhren langsam. Ab und an entrümpelt man Begriffe, die aus älteren, engagierteren Zeiten kommen („fordern“, sich „mit verantwortungsvollem Handeln exponieren“, „Interdisziplinarität“, „Vorbild“ etc.). Ebenso greift man neue Buzz Words auf („frei von Diskriminierung“). Immerhin jedoch ist man stolz darauf, dass man – wie alle es tun sollten – die Würde des Menschen respektiert. ■
Anmerkungen
Alle Dokumente findet man auf dem GI-Portal; vgl. GI 2018/2024. ↩︎
Tatsächlich kann die adverbiale Wortstellung Kopfzerbrechen bereiten. In einer vernetzen Welt sei es (stets?) notwendig, „Handlungsalternativen im Hinblick auf ihre absehbaren Wirkungen und möglichen Folgen interdisziplinär zu thematisieren“ (Präambel, Fassung von 2018): Meint dies, die Foren der Thematisierung sollten interdisziplinäre sein (Dialog mit Expertinnen und Experten anderer Fachlichkeit), oder ist „interdisziplinär“ eine vom disziplinär Üblichen abweichende Weise des Thematisierens, so dass man sich etwa in verständlicher Sprache – aber nicht im Dialog mit anderen Fächern – zu den fraglichen Wirkungen und Folgen verhalten soll? Die Frage ist nicht so trivial, wie sie scheint, angesichts der unlängst rund um „KI“ mehrfach zu beobachtenden Neigung von Computerwissenschaftlern und IT-Unternehmern, sich über „Manifeste“ breit öffentlich zu äußern. Manifeste scheinen mir jedenfalls kein Dialogformat zu sein, um sich auf interdisziplinären Foren den Analysen und Ansichten anderer Wissenschaften zu stellen. ↩︎
Hierzu ein Dank an die Kollegen Stefan Ullrich und Nicolas Becker, die mir im Juni 2024 auf Nachfrage per E-Mail erläutert haben, dass und wie die GI-Ethikthemen gewisse „normative Aussagen“ hier und da zwar trifft, im Prinzip aber eben doch ganz auf ihren einen, traditionsreichen Kodex setzt. ↩︎
Der Entstehung des Kodex hat der daran beteiligte Wolfgang Coy einen Aufsatz gewidmet, der vor allem den ausführlichen Diskussionen ein Denkmal setzt (vgl. Coy o.D.); den Hinweis auf den Text verdanke ich wiederum Ulrich und Becker. ↩︎
ACM 2021; vgl. auch die Enforcement Procedures von 2024, beschrieben unter https://ethics.acm.org/enforcement/ [9.6.2024]. Zwar hoch moralisch aber weniger spezifisch hingegen der Ethikkodex der Großvereinigung I3E (IEEE 2020). ↩︎
Literatur
ACM (Association of Computing Machinery) (2021): ACM Code of Ethics and Professional Conduct. https://ethics.acm.org/ [9.6.2024]
Coy, Wolfgang (o.D.): Die ethischen Leitlinien der GI – ein langer Weg (zur dritten Version). https://gewissensbits.gi.de/ein-langer-weg/ [19.7.2024]
GI (Gesellschaft für Informatik) (2024): Über uns [Webseitentext]. https://gi.de/ueber-uns [9.6.2024]
GI (Gesellschaft für Informatik) (2018/2024): Unsere ethischen Leitlinien [Webseitentext]. https://gi.de/ueber-uns/organisation/unsere-ethischen-leitlinien/ [9.6.2024]
IEEE (Institute of Electrical and Electronical Engineers) (2020): Code of Ethics. https://www.ieee.org/content/dam/ieee-org/ieee/web/org/about/corporate/ieee-code-of-ethics.pdf [9.6.2024] National Academies (2022): Responsible Computing Research: Ethics and Governance of Computing Research and its Applications. https://www.nationalacademies.org/our-work/responsible-computing-research-ethics-and-governance-of-computing-research-and-its-applications [9.6.2024]
Zitiervorschlag
Gehring, Petra (2024): Immerhin noch die Menschenrechte. Die aus der Zeit gefallene Ethik der Gesellschaft für Informatik. In: Verantwortungsblog. https://zevedi.de/immerhin-noch-die-menschenrechte-die-aus-der-zeit-gefallene-ethik-der-gesellschaft-fuer-informatik/ [26.09.2024]. https://doi.org/10.60805/p4bz-xr52
Die Marketing-Abteilung der Firma Palantir dürfte es als großen Erfolg betrachten, dass ihr Produkt in den Behörden gleichsam zum Eigennamen für digitale Strafverfolgung überhaupt avanciert ist. Ob der Einsatz der Software allerdings rechtmäßig ist, bleibt äußerst zweifelhaft. Ein Kommentar.
Von Michael Bäuerle | 12.09.2024
Erstellt mit Adobe Firefly. Prompt: „painting; minimalist; placed on top of a police car in white and blue lies a small magical glass ball; blurry background.“
Mit dem Urteil vom 16.02.20231 hat das Bundesverfassungsgericht eine Norm des hessischen Polizeigesetzes2 für verfassungswidrig erklärt, die den polizeilichen Einsatz einer sogenannten automatisierten Anwendung zur Datenanalyse erlaubte. Die Norm war zugeschnitten auf eine Analyseplattform, die auf dem Programm „Gotham“ der Firma Palantir Inc. beruht, das Hessen im Jahr 2017 im Rahmen eines politisch umstrittenen Vergabeverfahrens erworben und unter dem Namen HessenDATA auf die polizeiliche Datenverarbeitung hatte zuschneiden lassen.3 Außer in Hessen kommt die Analysesoftware auch in Bayern unter dem Namen VeRA (verfahrensübergreifendes Recherche- und Analysesystem) und Nordrhein-Westfalen unter dem Namen DAR (System zur Datenbankübergreifenden Analyse und Recherche) zum Einsatz.4
Da das Bundesverfassungsgericht eine bis zum 30.09.2023 befristete vorübergehende Fortgeltung der beanstandeten Regelung angeordnet hatte,5 konnte HessenDATA zunächst trotz der Unvereinbarkeit der Regelung mit dem Grundgesetz zunächst weiter genutzt werden, bedurfte jedoch nach Ablauf der Frist einer neuen verfassungskonformen Rechtsgrundlage. Eine solche sollte durch die kurzfristige Einfügung einer neuen Regelung in ein bereits laufendes Gesetzgebungsverfahren geschaffen werden.6
Rechtspolitisch umstritten war der Rückgriff auf eine Software von Palantir nicht zuletzt wegen eines zweifelhaften Rufs der Firma und ihrer Gründer.7 Diesen Aspekt hatte das Bundesverfassungsgericht dezent mit der Formulierung aufgegriffen: „Wird Software privater Akteure oder anderer Staaten eingesetzt, besteht zudem eine Gefahr unbemerkter Manipulation oder des unbemerkten Zugriffs auf Daten durch Dritte.“8
Grundsätzlich reiht sich das Urteil indessen ein in den inzwischen über zwei Dutzend Urteile und Beschlüsse umfassenden Bestand an „Ja, aber“-Entscheidungen des Bundesverfassungsgerichts zu den Befugnissen der Sicherheitsbehörden in Bezug auf den Umgang mit personenbezogenen Daten der Bürger:innen.9 In diesen Entscheidungen hat das Gericht bisher einerseits kein Eingriffsinstrument und keine neue Sicherheitstechnologie gänzlich für unzulässig erklärt. Es hat andererseits mit Blick auf den nach Intensität des Eingriffs unterschiedlich zu gewichtenden grundrechtlichen Schutz der informationellen Selbstbestimmung regelmäßig Korrekturen an den gesetzlichen Grundlagen verlangt, insbesondere im Hinblick auf deren Bestimmtheit und Verhältnismäßigkeit.10
Da diese Rechtsprechungslinie ihren Ausgangspunkt bereits im Jahr 1999 hatte, sollte von den Gesetzgebern in Bund und Ländern inzwischen eine gewisse Erfahrung in der Schaffung verfassungskonformer Rechtsgrundlagen für entsprechende Eingriffsinstrumente erwartet werden können; eine solche spiegelt sich indessen in den entsprechenden Gesetzentwürfen häufig nicht wider. Die Länder testen was geht, Datenschützer sehen eine Überschreitung von Grenzen, so dass die Entscheidungsserie des Bundesverfassungsgerichts nie abgerissen ist.
Eine Fortsetzung dieser Serie zeichnet sich nunmehr auch im Fall der Nutzung der Palantir-Software durch die Polizei ab. Bereits seit dem Jahr 2022 ist eine Verfassungsbeschwerde gegen die nordrhein-westfälische Regelung in Karlsruhe anhängig.11 Und auch gegen die neue hessische Regelung – die ganz auf die Nutzung gerade der Palantir-Software zugeschnitten ist und den verfassungsrechtlichen Anforderungen unter mehreren Gesichtspunkten wiederum nicht genügen dürfte12 – wurde jüngst erneut Verfassungsbeschwerde eingelegt.
Rechtspolitisch zeigt die Entwicklung, dass es der Firma Palantir offensichtlich gelungen ist, ihr Produkt bei den Entscheidungsträgern der Sicherheitsbehörden als unentbehrlich für eine effektive Gefahrenabwehr und Strafverfolgung zu verankern. So hat das Land Bayern nach einer europaweiten Ausschreibung bereits 2022 einen Rahmenvertrag über die Software mit Palantir abgeschlossen, dem der Bund und andere Länder ohne ein weiteres Ausschreibungsverfahren beitreten können.13
Tatsächlich denken ausgerechnet die Befürworter einer softwaregestützten Strafverfolgung augenscheinlich nicht über einen zumindest weniger bedenklichen Software-Partner nach. Als die Bundesinnenministerin im Sommer 2023 entschied, diese Option für die Bundesebene – die inzwischen die Bezeichnung Bundes-VeRA erhalten hatte – nicht zu nutzen, hatte dies einen Antrag der CDU/CSU Fraktion mit dem bezeichnenden Titel „Handlungsfähigkeit der Strafverfolgungsbehörden sichern – Entscheidung des Bundesministeriums des Innern und für Heimat bezüglich der polizeilichen Analyse-Software Bundes-VeRA revidieren“ zur Folge.14 Dieser Antrag führte zu einer öffentlichen Anhörung im Innenausschuss, in der sich zwar alle Vertreter von Polizei und Sicherheitsbehörden, aber keiner der geladenen Expert:innen für die Nutzung der Palantir-Software aussprach.15
Die Marketing-Abteilung der Firma Palantir dürfte es als großen Erfolg betrachten, dass ihr Produkt in den Behörden gleichsam zum Eigennamen für digitale Strafverfolgung überhaupt avanciert ist. Stolz ist man sicher auch auf die Tatsache, dass von der polizeilichen Nutzung ihrer Software nach Wertungen im rechtspolitischen Raum Berlins offenbar nicht weniger als die Handlungsfähigkeit der deutschen Sicherheitsbehörden abhängt. Aus verfassungsrechtlicher Sicht lässt indessen schon das erste Urteil des Bundesverfassungsgerichts zweifeln, ob es gelingen wird, die Nutzung dieser Software verfassungskonform „einzuhegen“. Fest steht indessen erneut: Das letzte Wort aus Karlsruhe ist noch nicht gesprochen. ■
§ 25a des Hessischen Gesetzes über die öffentliche Sicherheit und Ordnung (HSOG) in der bis zum 12.07.2023 geltenden Fassung, der mit Wirkung zum 04.07.2018 in das HSOG eingefügt worden war durch Gesetz vom 25.06.2018 (GVBl. S. 302). ↩︎
Vgl. dazu Bäuerle in Möstl/Bäuerle: BeckOK Polizei- und Ordnungsrecht Hessen, 33. Ed. 2024, § 25a, Rn. 1 ff. (5); Arzt in Lisken/Denninger: Handbuch des Polizeirechts, 7. Aufl. 2021, Abschnitt G, Rn. 1304 ff. ↩︎
Arzt in Lisken/Denninger 2021, Abschnitt G, Rn. 1305 (zu NRW) und www.stmi.bayern.de/med/pressemitteilungen/pressearchiv/2022/59/index.php (zu Bayern), vgl. auch BT-Drucks. 20/8390, S. 2 ff. (Antworten der Bundesregierung auf eine kleine Anfrage der CDU/CSU-Fraktion zur Einführung eines solchen Analysetools). ↩︎
Vgl. zu den aus der Kurzfristigkeit der Einfügung der Norm in das laufende Verfahren resultierenden Bedenken gegen deren formelle Verfassungsmäßigkeit Bäuerle in Möstl/Bäuerle, BeckOK Polizei- und Ordnungsrecht Hessen, 33. Ed. 2024, § 25a, Rn. 16 ff. ↩︎
Vgl. die Übersicht bei Bäuerle, Das Informationsrecht der Sicherheitsbehörden zwischen Konstitutionalisierung und Europäisierung, Frankfurt 2024, S. 88 ff. ↩︎
Dazu im Einzelnen m.w.N. Bäuerle, Das Informationsrecht der Sicherheitsbehörden zwischen Konstitutionalisierung und Europäisierung, Frankfurt 2024, S. 18 ff. ↩︎
Wie sieht sie aus, die „lebenswerte Welt“ im digitalen Zeitalter? Digitale Zwänge gehören nicht dazu, meint der Verein Digitalcourage. Mit einer Petition möchte er dazu anregen, das Grundgesetz zu erweitern.
Julia Witte von Digitalcourage e.V. im Gespräch mit Eneia Dragomir | 28.08.2024
Erstellt mit Adobe Firefly. Prompt: „Stil: minimalistisch, Kubismus; ein Menschen ist an ein Smartphone gekettet; Farben: blautöne, grau“.
Gibt es die Bahncard bald nur noch über die Bahn-App? Kann man das bestellte Paket in Zukunft nur noch an der Packstation abholen, wenn man die App der Post nutzt? Entwickelt sich der Komfort, den Smartphones und Apps gebracht haben, zu einem Zwang? Der Verein Digitalcourage e.V. beschreibt sich als „technikaffin“, beobachtet aber mit Sorge die Zunahme digitaler Zwänge, erfasst diese mit seinem „Digitalzwangmelder“ und macht mit den „BigBrotherAwards“ auf bestimmte Fälle aufmerksam. Zum 75. Jahrestag des Grundgesetzes hat der Verein eine Petition gestartet, um das Grundgesetz um ein „Recht auf Leben ohne Digitalzwang“ zu erweitern. Eneia Dragomir hat mit Julia Witte von Digitalcourage e.V. über die Kampagne und darüber gesprochen, wie die „lebenswerte Welt im digitalen Zeitalter“ aussieht, für die sich ihr Verein einsetzt.
V: Frau Witte, Artikel drei des Grundgesetzes behandelt Fragen der Gleichheit bzw. der Gleichheit vor dem Gesetz, der dritte Absatz Diskriminierungsverbote: „Niemand darf wegen seines Geschlechtes, seiner Abstammung, seiner Rasse, seiner Sprache, seiner Heimat und Herkunft, seines Glaubens, seiner religiösen oder politischen Anschauungen benachteiligt oder bevorzugt werden. Niemand darf wegen seiner Behinderung benachteiligt werden.“ Zum 75. Geburtstag des Grundgesetzes hat Ihr Verein Digitalcourage am 23. Mai 2024 eine Petition gestartet, (Digitalcourage 2024a) in der Sie dazu aufrufen, die Reihe der Diskriminierungsverbote zu erweitern. Das Grundgesetz soll künftig verbieten, Menschen, die ein bestimmtes vernetztes Gerät oder eine digitale Plattform nicht nutzen können oder wollen, bei der Grundversorgung zu benachteiligen. Warum halten Sie das für notwendig?
Julia Witte: Man sieht gerade, dass an vielen Stellen Infrastruktur abgebaut wird. Angestoßen wurde bei uns das Thema durch einige Umstellungen bei der Deutschen Bahn (DB). Zuerst hatte die DB angekündigt, dass es die Bahncard in Zukunft nur noch über die App geben soll, also über den DB Navigator. Daraufhin gab es viel Kritik an diesem Vorhaben und die Bahn ist ein bisschen zurückgerudert. Jetzt gibt es auch eine alternative Lösung: Man kann sich den QR-Code ausdrucken, als Ersatz für die Bahncard. Allerdings gibt es diese Alternative nur für Leute, die einen Onlineaccount haben. Man muss also einen Onlineaccount bei der Bahn haben, um eine Bahncard haben zu können. Die Bahn nennt das selbst eine „vorübergehende Alternative“, die Menschen den „Übergang in die digitale Welt erleichtern“ soll. Das ist für uns ein Fall, wo Menschen von der Möglichkeit ausgeschlossen werden, bezahlbare Zugtickets zu bekommen, wenn sie die App oder den Onlineaccount nicht haben wollen – dabei ist Bahnfahren Teil einer Grundversorgung.
Das Ende der Plastikkarte hat die Bahn damit begründet, dass sie Plastik einsparen wollen, was wir für eine Luftnummer halten. Es hätte viele Wege gegeben, wenn es wirklich um das Plastik gegangen wäre. Man hätte beispielsweise für Dauerabonnent:innen eine Karte einführen können, die man nicht ständig austauschen muss. Es gibt auch Chipkarten, die größtenteils aus Holz oder biologisch abbaubarem Material bestehen. Bei der Maßnahme ging es unserer Meinung nach darum, die Leute zur Nutzung der App zu drängen. Auch bei den kostengünstigen Sparpreis-Tickets gab es eine Änderung: Diese Tickets werden an den Automaten gar nicht mehr verkauft und am Schalter sollen Kund:innen jetzt eine Telefonnummer und eine E-Mail-Adresse hinterlegen. Auch das geht in diese Richtung und hat viele Anfragen bei uns zur Folge. Unseres Erachtens völlig zu Recht, denn auch das ist ein Fall von Grundversorgung, die an bestimmte Bedingungen geknüpft wird. Das waren konkrete Auslöser für unsere Initiative.
V: Solche Fälle sind eine neuere Erscheinung?
JW: Das Thema treibt uns schon länger um. Wir haben schon vor ein paar Jahren einen „Digitalzwangmelder“ ins Netz gestellt. (Digitalcourage 2024b) Der Grund war damals die kritische Diskussion der Luca-App während der Coronapandemie: Ist es in Ordnung, wenn eine private Firma massenhaft Daten über die Aufenthaltsorte von Leuten einsammelt und in einer zentralen Datenbank speichert? Wir wollten dann wissen: Wo gibt es noch solche Fälle, in denen man zu einer bestimmten digitalen Lösung genötigt wird, weil man sonst von wichtigen Leistungen oder dem öffentlichen Leben ausgeschlossen ist?
Wir haben sehr unterschiedliche Rückmeldungen bekommen. Auch Amüsantes, wie die Meldung einer Körperfettwaage, die sich sofort mit der Cloud des Herstellers verbinden wollte. Da kann man den Kopf schütteln und sagen, „Okay, schick sie zurück und kauf ein anderes Produkt“. Es gab aber auch Meldungen, die in den Bereich der Grundversorgung gingen und bei denen sich uns die Nackenhaare hochgestellt haben. Das war etwa die Meldung, dass die Post auf Packstationen ohne Display umstellt, die für die Kund:innen nur noch per App bedienbar sind. Dafür haben wir der Deutsche Post DHL Group letztes Jahr einen BigBrotherAward verliehen. (Tangens 2023) Das Szenario ist Folgendes: Ich bekomme ein Paket, bin aber nicht zuhause. Das Paket wird zu einer Packstation umgeleitet, die nach diesem neuen Modell funktioniert und kein Display hat. Ich möchte mein Paket abholen und an der Packstation steht: Bitte laden Sie die App herunter, um Ihr Paket zu bekommen. Wenn ich die App nicht möchte, muss ich eine Neuzustellung beantragen – das Formular dazu ist allerdings auf der Webseite von DHL nicht leicht zu finden. Das ist aus unserer Sicht ein Fall von App-Zwang.
Das also war die Situation, in der wir diese Petition gestartet haben. Der übergeordnete Grund ist, dass sich unserer Meinung nach gerade etwas zusammenzieht: An immer mehr Stellen findet eine gedankenlose Digitalisierung statt, die oft sehr schlecht und wenig inklusiv umgesetzt wird. Und wir haben Sorge, dass ein neuerliches entsprechendes Angebot immer unwahrscheinlicher wird, wenn die analoge Infrastruktur erst abgebaut ist. Bei der Bahn geht es dabei beispielsweise um Serviceschalter und um Fahrkartenautomaten. Wir glauben, dass es keine gute Idee ist, diese Infrastrukturen komplett auf null zurückzufahren.
V: Was genau ist das Problem daran? Dass ein analoges Leben nicht mehr möglich ist?
JW: Ich bin ein bisschen vorsichtig mit dem Begriff „analog“. Es gibt digitale Lösungen, die nicht automatisch sehr viele Menschen ausschließen. Ich habe grundsätzlich kein Problem damit, wenn in einem Bahnhof ein digitaler Abfahrtsmonitor hängt. Klar, es gibt das Resilienzproblem, insofern der Monitor ausfallen kann. Aber das ist ein Beispiel für eine Form von Digitalisierung, die keine Barriere aufbaut in dem Sinne, dass ich ein bestimmtes Endgerät brauche und eine bestimmte App, um den Dienst nutzen zu können.
Im Großen und Ganzen geht es uns um vier Hauptargumente: Das erste ist die Teilhabe. Es gibt Menschen, die bestimmte Dienste nicht nutzen können. Und es wird oft versucht, das mit dem Argument abzutun, dass es nur mehr Schulungen bräuchte, um diesen Leuten beizubringen, wie sie Apps installieren und bedienen. Das sind gute Initiativen. Aber ich glaube, dass man dadurch das Problem nicht vollständig lösen kann, weil es trotzdem zum Beispiel weiterhin Menschen geben wird, die kein Geld für ein Smartphone haben. Es gibt auch Menschen, die eine Krankheit oder Einschränkung haben, wegen der sie bestimmte digitale Geräte oder Dienste nicht nutzen können. Für all diese Menschen muss Teilhabe sichergestellt werden.
Dann ist für uns das Thema Überwachung und Datenabfluss ganz wichtig. Digitalisierung läuft zurzeit leider häufig so ab, dass Anbieter beschließen: „Wir machen jetzt eine App und bieten unsere Services dann nur noch auf diesem Weg an. Und wo wir schon dabei sind, verbauen wir in der App noch ein paar Tracker. Dann können wir zusätzliche Analysen machen. Und wo wir die Daten schon mal haben, können wir sie auch gewinnbringend für etwas anderes nutzen oder weiterverkaufen.“ Diese kommerzielle Überwachung wird immer umfangreicher, jede Verhaltensäußerung wird erfasst. Die Wirtschaftswissenschaftlerin Shoshana Zuboff hat diese Tendenz als „Überwachungskapitalismus“ beschrieben. (Zuboff 2018) Digitalzwang und diese Sammelwut bezüglich alltäglicher Verhaltensdaten gehen oft Hand in Hand.
Eine große Rolle spielt für uns auch das Thema Wahlfreiheit. Ich finde es gruselig, mir vorzustellen, dass ich in vielleicht zwei, drei oder fünf Jahren in einer Welt lebe, in der ich ohne Smartphone nicht mehr aus dem Haus gehen kann. Weil ich ohne Smartphone nicht mehr einkaufen, Zug fahren oder am öffentlichen Leben teilhaben kann – vielleicht nicht mal mehr einen Bus nehmen kann, weil der Abfahrtsplan hinter einem QR-Code versteckt ist. Das ist eine Wahlfreiheit, die ich gerne erhalten würde. Es ist doch eine legitime Entscheidung von Leuten, kein Smartphone zu haben oder vielleicht auch nur ein paar Jahre darauf verzichten zu wollen, oder? Es gibt sehr viele Konstellationen, die dazu führen können, dass Leute sich gegen ein Smartphone oder gegen bestimmte digitale Dienste entscheiden. Ich persönlich möchte zum Beispiel möglichst wenig Google-Dienste auf meinem Handy haben und schon das schließt mich von vielen Möglichkeiten aus. Ich möchte nicht, dass ich in ein paar Jahren nicht mehr Bahn fahren kann, weil ich den Google Play Store nicht auf meinem Handy haben möchte. Wir können doch nicht Leistungen der Grundversorgung davon abhängig machen, dass ich bereit bin, Apple oder Google meine Daten auf dem Silbertablett zu servieren.
Und zuletzt geht es uns auch um Resilienz. Im März 2024 waren mehrere Länder in Afrika ohne Internet, weil ein Unterseekabel beschädigt war. (tagesschau.de 2024) Eine verbreitete Software kann großflächig Probleme verursachen oder die zugrunde liegende Infrastruktur kann ausfallen. Es wäre schön, wenn unsere Gesellschaft in solchen Fällen nicht völlig explodieren würde.
V: Was würde „explodieren“ bedeuten?
JW: Je mehr wir analoge Lösungen abschaffen, desto abhängiger werden wir von bestimmten digitalen Diensten und von durchaus vulnerablen Infrastrukturen. Es geht mir dabei nicht nur um den technisch bedingten Ausfall von Diensten, sondern auch um die Monopolisierung ganzer Bereiche, die uns in Abhängigkeiten treibt. Wenn wichtige Teile unserer öffentlichen Infrastruktur zum Beispiel auf den Angeboten von Google aufgebaut und davon abhängig sind, dann stellt sich die Frage: Welche Möglichkeiten hat zum Beispiel die Europäische Kommission oder das Kartellamt noch, Google zu regulieren? Wenn beispielsweise die Kommission anstreben würde, den Konzern Google aufzuspalten – übrigens eine langjährige Forderung von Digitalcourage (Tangens & padeluun 2013) –, dann könnte Google androhen, bestimmte Dienste in der EU nicht mehr anzubieten und die Behörden hätten eine sehr schwere Verhandlungsposition. Deswegen sollten wir analoge Strukturen an sehr wichtigen Stellen erhalten, und uns zusätzlich bei unserer technischen Infrastruktur nicht völlig abhängig machen von den Monopolisten auf dem Markt, sondern auf freie Software-Lösungen und offene Schnittstellen setzen.
Dafür gibt es auch noch einen anderen guten Grund: Wenn es nur eine einzige digitale Lösung gibt, um an einen wichtigen Dienst zu kommen, dann gibt es keine Konkurrenz. Und damit gibt es wenig Motivation, ein digitales Angebot attraktiv zu gestalten. Wenn eine bestimmte App die einzige Möglichkeit ist, um z.B. an Zugtickets zu kommen, dann ist es egal, wie bedienbar diese App ist, wie wenig dabei auf die Privatsphäre geachtet wird oder wie vertrauenswürdig sie insgesamt erscheint. Die Kund:innen müssen sie nutzen. Auch deswegen setzen wir uns gegen Digitalzwang ein: Ohne solche Zwänge müssen die Anbieter digitale Angebote erarbeiten, die die Leute überzeugen.
V: Sie haben davon gesprochen, dass eine „gedankenlose Digitalisierung“ stattfindet. Das meint eine Digitalisierung, die einem falschen Leitbild der Vereinfachung folgt – und dadurch mit einem Abbau von Wahlfreiheit und Resilienz einhergeht?
JW: Wir dürfen nicht nur darauf schauen, was auf den ersten Blick einfach und bequem für das Individuum zu sein scheint. Wir müssen auch darauf schauen, was für gesellschaftliche Auswirkungen sich ergeben. Mit unserer Kampagne treten wir gegen Digitalzwang ein, aber nicht gegen Digitalisierung oder gegen digitale Angebote. Im Gegenteil: Wir begrüßen digitale Angebote, aber wir möchten, dass noch andere Wege existieren.
V: Befürchten Sie, dass sich dieser Trend zu alternativlosen Digitalgeräten oder Apps fortsetzt und weitere Bereiche der Grundversorgung erfasst?
JW: Ja, absolut. Bei der Deutschen Bahn zum Beispiel sehen wir das als eine Salamitaktik: Erst gibt es nur einige Tickets und Services ausschließlich digital. So kann das Unternehmen sich vorerst noch herausreden und auf andere Tickets verweisen, die noch ohne App erhältlich sind. Aber für die Bahn lohnt es sich natürlich, wenn sie die analogen Wege irgendwann abschaffen kann und diese Infrastruktur nicht mehr erhalten und pflegen, bzw. das Personal dafür finanzieren muss. Da sehen wir auf jeden Fall einen Trend, der sich weiter fortsetzen wird – wenn wir uns als Gesellschaft nicht entschließen, gegenzusteuern.
V: Kostenersparnis ist also auch ein Treiber. Sie haben das Problem der Überwachung und die Gefahr des „Überwachungskapitalismus“ angesprochen sowie die Gefahr der Monopolisierung, von der ja auch im Kontext der Diskussion um den sogenannten „Plattformkapitalismus“ gesprochen wird. Sie hatten im Zuge dessen Maßnahmen der EU erwähnt. Finden Sie solche Maßnahmen wünschenswert?
JW: Ja, selbstverständlich. Ich glaube, da findet gerade auch ein großes Umdenken statt. Ich würde behaupten, dass wahrscheinlich kaum jemand die Maßnahmen, die jetzt im Digital Markets Act (DMA) beschlossen wurden, vor einigen Jahren für politisch realistisch gehalten hätte. Das Gesetz schränkt die Möglichkeiten der ganz großen Tech-Unternehmen ein, ihre Funktion als Türsteher auszunutzen, um eigene Angebote zu bevorzugen und die Spielregeln immer zum eigenen Vorteil zu machen.
Ich glaube, dass dem ein großer gesellschaftlicher Diskurs vorausgegangen ist. Das Bewusstsein für das Manipulationspotenzial, das Konzerne wie Google haben, hat zugenommen. In den USA gibt es eine Strömung progressiver Kartellrechtler:innen, die als „New Brandeis School“ den schädlichen Einfluss von Monopolen auf unsere Demokratien betont. Immer häufiger taucht die Forderung auf – nicht nur von uns –, sehr große Digitalkonzerne zu entflechten. Und zwar nicht als Reaktion auf einzelne Vergehen, sondern weil diese Unternehmen eine so enorme Menge an Informationen über uns angehäuft haben – und damit eine so enorme Manipulationsmacht haben –, dass das nicht mehr mit unserer Demokratie verträglich ist. Im Fall von Google liegt das auf der Hand und auch Amazon ist ja gerade stark unter Druck.
Maßnahmen wie den DMA und auch den Digital Services Act (DSA) finden wir grundsätzlich begrüßenswert. Es wird in den nächsten Jahren spannend, wie schlagkräftig die Durchsetzung dieser Gesetze sein wird.
V: Was hat Ihrer Einschätzung nach zu dieser Verschiebung in der Haltung zu solchen großen Tech-Konzernen geführt?
JW: Neben der unermüdlichen Aufklärungsarbeit, die wir und viele andere gemacht haben, gibt es sicher auch eine Reihe von Enthüllungen, die eine große öffentliche Reichweite bekommen und Bewusstsein für bestimmte Probleme geschaffen haben. Zum Beispiel der Skandal um die Wahlbeeinflussung durch Cambridge Analytica in den USA. Damals ist vielen klar geworden, dass personalisierte Online-Werbung nicht harmlos ist, dass es nicht nur darum geht, dass mir die Turnschuhe angezeigt werden, für die ich mich interessiere, sondern dass solche Werbung auch für gezielte politische Manipulation benutzt wird.
In den Jahren danach ist immer mehr über diesen Werbemarkt aufgedeckt worden. Eines der jüngsten Beispiele ist eine Recherche von Netzpolitik über den Datenmarktplatz Xandr. (Dachwitz 2023) Die Journalist:innen haben sich angeschaut, in was für Kategorien Leute dort eingeteilt werden – und festgestellt, dass die Kategorien nicht nur sehr feingranular, sondern ethisch mehr als fragwürdig sind. Sie können Ihre Werbung an konservative Rentner ausspielen lassen, an Minderjährige, an Betroffene von Brustkrebs, an Menschen mit Essstörungen, mit Geldsorgen, an Glücksspielsüchtige, an Menschen, die sich gerade scheiden lassen oder in der Menopause sind. Ich denke, da wird den meisten Menschen klar, dass diese Art von Kategorisierung nicht in meinem Sinne ist, weil ich dann nette Angebote bekomme, sondern, dass das massenhafte Sammeln solcher sensiblen Informationen für unsere Gesellschaft eine Gefahr darstellt.
Auch das Bewusstsein dafür, dass die Monopolisierung im digitalen Bereich ein Problem ist, steigt. Vorher hatten viele die Überzeugung, dass Google einfach ganz tolle Produkte hat und die Suchmaschine halt die beste ist – ein gerechtfertigtes Monopol sozusagen. Mittlerweile sagen immer mehr Leute, dass der Kipppunkt erreicht ist: Die Google-Suche wird immer schlechter, weil Google die Monopolstellung hat. Es gibt quasi keine Konkurrenz auf dem Markt und Google nutzt seine marktbeherrschende Stellung immer ungehemmter. Bei Amazon ist es vermutlich ein ähnliches Phänomen. Am Anfang haben alle gesagt: „Hurra! Eine Plattform, die alles miteinander verbindet. Wie großartig! Ist das nicht bequem?“ Dann wurden immer mehr kleine Händler aus dem Geschäft gedrängt, indem Amazon gezielt seine eigenen Angebote bevorzugt hat.
Es wird immer offensichtlicher, dass auch im digitalen Bereich Monopole weder der Gesellschaft und unserem demokratischen Frieden dienen noch sind sie marktwirtschaftlich gut. Denn am Ende führen sie auch zu schlechteren Produkten und Diensten.
V: Ihr Verein setzt sich für „eine lebenswerte Welt im digitalen Zeitalter“ ein. Was macht diese lebenswerte Welt im Digitalzeitalter aus?
JW: Ich glaube, das müssen wir in der pluralistischen Gesellschaft immer wieder miteinander neu aushandeln. Ich wünsche mir eine Digitalisierung, die mehr Möglichkeiten und Freiheiten schafft, nicht weniger. Um bei der Bahn zu bleiben und ein positives Beispiel zu nennen: Es gibt Versuche der Bahn mit Video-Schaltern. Das sind Geräte, die z.B. an einem Bahnhof stehen und wenn ich Beratung möchte, wird jemand vom Serviceteam per Video zugeschaltet. Das ist eine digitale Lösung, die auch Leute mitdenkt, die mit Smartphones oder mit Automaten nicht zurechtkommen. Manchmal hat man auch eine Frage, die einem kein technisches Gerät beantwortet und die in einer Computer-Telefonschleife nicht vorgesehen ist. Wenn es nur noch Chatbots mit vorgefertigten Antworten gibt, dann kann ich diese Frage nirgendwo mehr stellen – das ist sehr frustrierend.
In Bezug auf die Bahntickets kann ich mir auch gute digitale Lösungen vorstellen, die mir weniger Zwänge auferlegen. Die Tickets der Deutschen Bahn sind ja im Grunde genommen nur ein QR-Code. Warum soll ich diesen QR-Code in der App der Deutschen Bahn präsentieren? Warum kann sich die Bahn nicht ein System ausdenken, mit dem ich diese Informationen auf beliebige Art vorzeigen kann? Zum Beispiel auf einem uralten Smartphone oder Laptop mit einem PDF-Reader meiner Wahl, auf einem E-Book-Reader oder auf Papier. So könnten freie Open-Source-Apps entstehen, in die Tickets geladen werden könnten und die Fahrpläne anzeigen. Meines Erachtens gibt es keine sinnvolle Begründung, warum Bahnkund:innen genötigt werden müssen, diese eine App zu nutzen.
V: Man könnte seine individuelle Bahncard herstellen…
JW: Genau. Man könnte sich bei vielen Prozessen vorstellen, andere, kreativere Ansätze zu wählen. Der Trend geht aber, wie angesprochen, in eine andere Richtung: Man muss diese bestimmte App nutzen, die man nur im Google Play Store oder Apple Store herunterladen kann. Diese Digitalisierung ist eine Verengung. Das ist nicht die lebenswerte Welt im digitalen Zeitalter, die wir uns wünschen.
Digitalcourage versteht sich als sehr technikaffin. Wir interessieren uns für Open Source, wir haben Lust, mit unseren Geräten herumzuspielen, unser Wissen und unsere Möglichkeiten damit zu erweitern. Aber ich habe den Eindruck, als Gesellschaft verstehen wir uns in Beziehung zu unseren Geräten immer mehr als reine Konsument:innen. Ich möchte aber nicht nur konsumieren, ich möchte mit meinem Gerät selbst etwas machen können. Das ist es auch, was der Begriff „Hacker“ ursprünglich gemeint hat: Die Dinge zweckentfremden, irgendwie ganz anders angehen, neu interpretieren, eine neue Lösung für ein Problem finden. Das Gerät mal kräftig schütteln und gucken, ob man es anders zusammenbauen kann. Ich glaube, dieses Spielerische geht uns gerade verloren. Wir erleben uns in Bezug auf unsere technischen Geräte immer seltener als selbstbestimmt handelnde Personen. Die technische Entwicklung verengt unsere Teilnahme auf, „Da ist der App-Store, da kann man was herunterladen, das kann man dann auf eine bestimmte Weise nutzen“. Vielleicht gibt es dann noch drei Einstellmöglichkeiten, aber unsere Systeme werden tendenziell immer geschlossener und der spielerische Geist geht uns verloren.
Wir sollten Technik wieder mehr als etwas begreifen, das von Menschen geschaffen und veränderbar ist, womit wir uns auch ausdrücken können. Das ist eine wichtige Grundhaltung für viele Lebensbereiche – darauf baut nicht zuletzt unsere Demokratie auf.
V: Seit 1987 begleitet Digitalcourage die Digitalisierung kritisch. Wofür steht der Begriff „Digitalcourage“? Warum bedurfte es dieser Form von Courage? Und wie sieht es heute aus?
JW: Auf die Frage gibt es wahrscheinlich so viele Antworten, wie wir Mitglieder haben. Für mich bezieht sich der Name auf das, was ich Ihnen eben skizziert habe: Die Courage, die Welt – in unserem Fall vor allem die digitale Welt – aktiv beeinflussen und gestalten zu wollen. Eigene Ideen davon zu entwickeln und dafür zu werben.
V: Ihr Verein setzt sich auch für „Digitale Mündigkeit“ ein. Was meint dieser Begriff?
JW: Digitale Mündigkeit bedeutet, Verantwortung für das eigene Handeln im digitalen Raum übernehmen zu können. Das ist ein wichtiges Konzept für uns und wir versuchen auf verschiedene Weise – unter anderem mit Anleitungen und praktischen Tipps – Leute zu ermutigen, sich Wissen und eine gewisse Urteilsfähigkeit über Digitales anzueignen.
Gleichzeitig ist mir bewusst, dass das stark von den jeweiligen Ressourcen abhängig ist, die ein Mensch zur Verfügung hat: zum Beispiel Bildung, Zeit und Geld. Das muss ich alles haben, um mich damit auseinandersetzen zu können. Wenn ich nach einem langen Arbeitstag völlig ausgepowert bin, dann noch mein Kind ins Bett bringen muss, um danach die Küche aufzuräumen und meine Steuererklärung zu machen, dann habe ich wahrscheinlich wenig Energie übrig, um die Funktionsweise meines Messengers verstehen zu lernen.
Deshalb setzen wir uns als Digitalcourage auch dafür ein, dass digitale Grundrechte eingehalten und gestärkt werden. Um ein konkretes Beispiel zu nennen: Wir führen eine Klage gegen die Deutsche Bahn, bei der es um das nicht abwählbare Sammeln und Weitergeben von Trackingdaten in der App geht. Man kann Smartphones so konfigurieren, dass Tracking weitestgehend unterbunden wird. Ein Personenkreis mit bestimmtem Wissen und Fähigkeiten kann so auf technischem Wege seine Privatsphäre wiederherstellen. Aber das reicht nicht. Denn ein Grundrecht zu haben, bedeutet, dass dieses Recht nicht davon abhängig ist, dass ich die Ressourcen habe, es selbst für mich einzufordern. Privatsphäre ist wichtig für unsere Demokratie und steht uns allen zu – unabhängig davon, ob jemand Zeit, Geld und Wissen hat, um darauf zu pochen.
V: Man hört immer wieder, mit der Digitalisierung gehe es in Deutschland nicht schnell genug voran. Und dieser Vorwurf kommt nicht nur von den Stimmen, denen digitale Rechte und Datenschutz nicht am Herzen liegen. Was würden Sie zu einer solchen Kritik sagen?
JW: Dass Digitalisierung nicht schnell genug vorangeht, stimmt und stimmt nicht. Letztlich ist es völlig unterkomplex, von der Annahme auszugehen: je mehr Digitalisierung, desto besser. Digitalisierung ist kein Selbstzweck und hat keinen Wert an sich. Bestes Beispiel: Ich kann ganz viele iPads in Schulklassen verteilen; wenn ich aber kein pädagogisches Konzept dazu habe, dann ist das nicht besser, dann haben die Kinder nur Bildschirme. Es muss eine nützliche Digitalisierung sein, die auf eine gute Art und Weise gestaltet ist. Und es geht nicht darum, das möglichst schnell zu machen, sondern es möglichst gut zu machen. Wenn das zügig geht, dann ist es toll. Es ist wichtig, Digitalisierung nicht als eine Art Naturgewalt zu betrachten, die einfach über uns kommt. Wir müssen sie als einen Prozess begreifen, den wir alle gemeinsam gestalten sollten und gestalten können.
Tangens, Rena (2023): Laudatio zur Preisverleihung an die Deutsche Post DHL Group [Webseite]. https://bigbrotherawards.de/2023/deutsche-post-dhl [29.07.2024].
Zuboff, Shishana (2018): Das Zeitalter des Überwachungskapitalismus. Frankfurt/New York: Campus Verlag.
Zitiervorschlag
Witte, Julia & Eneia Dragomir (2024): Ein Recht auf ein Leben ohne Digitalzwang. In: https://zevedi.de/ein-recht-auf-ein-leben-ohne-digitalzwang/ [28.08.2024]. https://doi.org/10.60805/6fph-8h98
Sommerzeit ist Reisezeit – und das nicht nur mit öffentlichen Verkehrsmitteln wie Bus, Bahn und Flugzeug, sondern häufig mit eigener oder gemieteter Motorisierung. Ob mit dem eigenen PKW (mit oder ohne Wohnwagen), Camper oder Motorrad, viele legen gerade in den Sommermonaten im In- und Ausland weite Strecken zurück in Gegenden, die sie für gewöhnlich nicht durchqueren. Dabei ist man nicht immer gebührenfrei auf den Straßen unterwegs: In bestimmten Autobahnabschnitten und Durchgangsstraßen, über manche Brücken und Pässe oder in gewissen Stadtteilen werden Mautgebühren verlangt. In insgesamt 24 Ländern Europas gibt es streckenabhängige Mauten, Vignettenpflicht und/ oder Sondermauten für Tunnel, Pässe oder Brücken. Das ist nichts Neues, übersichtlich kann man sich beispielsweise auf der Seite des ADAC informieren – und auch viele (digitale) Ländervignetten kaufen.1https://www.adac.de/reise-freizeit/maut-vignette/
Doch von Sommerurlaub zu Sommerurlaub fiel mir auf, dass sich die Bezahlweisen dieser Straßengebühren ändern. Mit Personal ausgestattete Mautstellen sieht man immer seltener, viele Mauthäuschen bleiben dauerhaft geschlossen. An manchen Stellen ist es unmöglich, die Gebühren bar zu entrichten. An anderen sind nur zwei von zehn dieser Stellen darauf ausgerichtet, lange Schlangen bilden sich vor ihnen. Den Nummernschildern entnehme ich, dass es vor allem Urlauber sind, die sich hier einreihen. Ob sie wohl auf Nummer sicher gehen wollen, dass der Bezahlvorgang funktioniert? Oder sehen sie sich lieber einem menschlichen Ansprechpartner gegenüber? Ein anderer Grund mag sein, dass sie nicht mehr Daten als nötig von sich übermitteln möchten. Alle anderen Bezahlmöglichkeiten sind maschinengestützt – mit unterschiedlichen Vor- und Nachteilen.
Die Vignette
Die Vignette ist die datenfreie Variante. Man klebt sie ans Auto, egal ob Privat- oder Mietwagen, es gibt keine Registrierung des Kennzeichens, keinen Vertrag. An Raststätten lässt sich gar bar bezahlen. Erst durch ihre Bestellung im Internet oder Kartenzahlung fallen Daten an. Allerdings wird sie mehr und mehr von ihrer digitalen Version abgelöst: die E-Vignette ist elektronisch mit dem Kennzeichen verknüpft. In der Schweiz kann man seit Februar 2024 so auch übers Internet direkt eine Vignette lösen, mit vorab 1,6 Millionen verkauften zeigt sich ein starker Trend.2https://www.blick.ch/wirtschaft/stichtag-am-1-februar-bereits-1-6-millionen-e-vignetten-im-umlauf-das-musst-du-wissen-id19372835.html
Die EC- oder Kreditkarte am Schalter
An Mautstellen wird gerade von Reisenden aus dem Ausland die Möglichkeit, mit EC- oder Kreditkarte zu bezahlen, nach der Barzahlung am häufigsten genutzt, wie ich der Einreihung in Schlangen vor Mautstellen beispielsweise in Frankreich entnehme. Wie bei jeder Kartenzahlung werden dadurch Daten generiert und übertragen, sodass nachverfolgbar ist, mit wessen Karte wann wo welcher Betrag gezahlt wurde. Welches spezifische Auto die Mautstrecke passiert, wird nicht registriert, nur Gewicht und Größe spielen für die Erhebung der Höhe der Maut eine Rolle. Von Vorteil ist das schnellere Prozedere. Bargeld in der jeweiligen Landeswährung muss nicht mit sich geführt werden, die Abbuchungen können auf dem eigenen Konto kontrolliert werden. Wird die Karte aber nicht angenommen, steht man vor einem Problem: wie aus der Schlange herauskommen und wen um Hilfe bitten?
Die Mautbox
Hat man eine Mautbox im Auto, die lediglich zur Erkennung gescannt wird, geht es noch schneller. Die Schranke öffnet sich bereits beim Anrollen. Und ebenso automatisiert werden die Gebühren abgebucht. Die Schnelligkeit der Durchfahrt wird allerdings auch mit Daten bezahlt: Es gibt eine Aufstellung, wo man wann auf Mautstrecken gefahren ist, das Kennzeichen des eigenen Fahrzeugs oder von mehreren, auch Mietwagen, werden registriert, und man muss seine Mailadresse, Kontodaten und Anschrift zur Versendung der Mautbox angeben. Zudem muss ein sich automatisch verlängernder Jahresvertrag abgeschlossen werden. Mautboxzwang gibt es für reisende Urlauber in kleinen Fahrzeugen nirgends, es bleibt eine Option (anders für LKW oder vergleichbar große Urlaubsgefährte).
ANPR-Kameras – Bezahlen im Internet oder über Apps
In meinem Norwegenurlaub habe ich im großen Stil eine neue Erfahrung gemacht: Überall wimmelt es von ANPR-Kameras. Nicht nur auf Autobahnen, auch auf kleineren Landstraßen, Fähren und auf Parkplätzen. ANPR steht für „Automatic Number Plate Recognition“ – die Kennzeichen werden gescannt und somit registriert, wer wann welche Straße nimmt, welche Fähre man nimmt oder wo man parkt. An den großen Fährstationen mit Vorabbuchung wurde ich so von den Kontrolleuren bereits mit Namen gegrüßt. Denn schon bei der Anfahrt sind für sie im Kontrollhäuschen alle relevanten Daten einsehbar.
Die dadurch beschleunigten Abläufe sind mir durchaus willkommen, ein seltsameres Gefühl kommt auf, wenn man auf einen Parkplatz einbiegt und sogleich auf einer großen Anzeige mit Kennzeichen – also immerhin nicht mit Namen – begrüßt wird. Sofort weiß man: Ich bin registriert, der Parkplatz wird überwacht. Und: die Gebühren werden auf jeden Fall eingetrieben. Aber wie? Nicht immer ist es möglich, mit Bargeld an einem Automaten zu bezahlen. Ich hatte auch schon die leidige Erfahrung, gemeinsam mit Urlaubern aus einem anderen Land vor einem Automaten zu verzweifeln, da zunächst keine unserer Karten angenommen wurde. Was passiert, wenn man wegfährt, ohne, dass man bezahlen konnte? Die Kameras hatten das Kennzeichen registriert, wie sich den Bildschirmen bei der Einfahrt entnehmen ließ, bezahlen muss man unweigerlich. Doch wie hoch die Strafe ausfallen würde, konnte man keinem Schild entnehmen. Ebensowenig, ab wann eine Gebühr anfällt – bereits wenn man eine Runde über den Parkplatz dreht, sich aber doch umentscheidet oder schlicht keinen geeigneten Platz für sein Wohnmobil findet? In meinem Urlaub ist alles nochmal gut gegangen, aber es bauten sich Hemmungen auf, mit ANPR-Technologien operierende Parkplätze anzusteuern.
Zumindest, wenn man sich nicht auf den verknüpften Apps angemeldet hat. Diese können von Parkplatzbetreiber zu Parkplatzbetreiber variieren, sodass sich am Ende des Urlaubs eine Unzahl an Apps anhäufen kann, die Kennzeichen und Kreditkarte zur automatischen Abbuchung der Gebühren hinterlegt haben. Was aber die Straßen- und Fährgebühren in Norwegen und Schweden betrifft, stellte diese Bezahlweise einen Segen für einen entspannten Urlaub dar: Über die App Epass24 werden alle Gebühren bezahlt. Sind Kennzeichen und Kreditkarte einmal hinterlegt, wird die Maut einmal monatlich abgebucht. Auf den ersten Blick schlicht und einfach, auf den zweiten frage ich mich: Wo habe ich überhaupt in welcher Höhe für Überfahrten, Brückenüberquerungen und Straßennutzungen zahlen müssen? Denn es wird nur ein Gesamtbetrag am Ende abgebucht, nur die Fährkosten werden separat gelistet, aber ebenfalls nicht aufgeschlüsselt. Für wen ist es allerdings wie lange einseh- und rückverfolgbar? Welche Daten werden an wen übermittelt? Schließlich hat Epass24 neben Kennzeichen, Bezahlinformationen und Gebührenauflistung auch Name und Adresse, E-Mail-Adresse sowie Fahrzeugmodell und bei Verstößen gegen die Verkehrsordnung auch Fotos. Verschiedene Mautbetreiber nutzen die Dienste von Epass24, 3https://www.epass24.com/de/the-toll-operators/ die Daten werden auch zu Analysezwecken genutzt. Natürlich räumt Epass24 das zustehende Recht ein, die persönlichen Daten einzusehen und zu löschen, scheint sie aber so lange wie möglich zu speichern.4 https://www.epass24.com/data-protection-policy/ Entziehen kann man sich der Datenerhebung nicht, wenn man in Ländern wie Norwegen im Urlaub unterwegs ist.
Die Maut der Zukunft
Die Digitalisierung des Bezahlvorgangs von Mautgebühren ist so immer weiter auf dem Vormarsch. Die Fragen des Datenschutzes und der Transparenz sollten allerdings lauter gestellt werden, gerade weil man sich diesem Trend immer weniger entziehen kann. Mit Personal besetzte Mautstellen werden seltener, da sie einen Kostenfaktor darstellen, den Verkehr verlangsamen und Staus verursachen. Es ist nachvollziehbar, dass es sich wirtschaftlich und infrastrukturell lohnt, die Gebührenzahlung zu digitalisieren. Die Online-Registrierung der Fahrzeugtypen hat auch den Vorteil, dass Gebühren individuell angepasst werden können. Nicht nur die Kategorisierung in Motorrad, PKW, Bus und LKW kann hier wie bislang entscheidend sein, auf manchen Strecken oder Parkplätzen müssen Elektrofahrzeuge oder mit Wasserstoff betriebene Autos sowie PKW mit besonders niedrigen Emissionen keine Gebühren bezahlen. So können auch politische Interventionen und Fördermaßnahmen durch die Digitalisierung des Mautwesens leichter durchgeführt werden. Die Zukunft des Entrichtens von Mautgebühren liegt definitiv in digitalen Bezahlvorgängen.
Ihre Privatsphäre liegt uns am Herzen – deshalb setzen wir auf volle Transparenz.
Auf unserer Webseite nutzen wir ausschließlich Matomo, ein datenschutzfreundliches Analysetool, um zu verstehen, wie unsere Seite genutzt wird. Dabei werden Ihre Daten weder für kommerzielle Zwecke verwendet noch weitergegeben und bleiben ausschließlich auf unseren Servern.
Danke, dass Sie uns mit Ihrer Einwilligung helfen!
Funktional
Immer aktiv
Die technische Speicherung oder der Zugang ist unbedingt erforderlich für den rechtmäßigen Zweck, die Nutzung eines bestimmten Dienstes zu ermöglichen, der vom Teilnehmer oder Nutzer ausdrücklich gewünscht wird, oder für den alleinigen Zweck, die Übertragung einer Nachricht über ein elektronisches Kommunikationsnetz durchzuführen.
Vorlieben
Die technische Speicherung oder der Zugriff ist für den rechtmäßigen Zweck der Speicherung von Präferenzen erforderlich, die nicht vom Abonnenten oder Benutzer angefordert wurden.
Statistiken
Die technische Speicherung oder der Zugriff, der ausschließlich zu statistischen Zwecken erfolgt.Die technische Speicherung oder der Zugriff, der ausschließlich zu anonymen statistischen Zwecken verwendet wird. Ohne eine Vorladung, die freiwillige Zustimmung deines Internetdienstanbieters oder zusätzliche Aufzeichnungen von Dritten können die zu diesem Zweck gespeicherten oder abgerufenen Informationen allein in der Regel nicht dazu verwendet werden, dich zu identifizieren.
Marketing
Die technische Speicherung oder der Zugriff ist erforderlich, um Nutzerprofile zu erstellen, um Werbung zu versenden oder um den Nutzer auf einer Website oder über mehrere Websites hinweg zu ähnlichen Marketingzwecken zu verfolgen.
