Mit KI-Bildgeneratoren sind nun fantastische Fabrikationen sehr viel leichter, massenförmiger und schneller zu produzieren, die langfristig wohl an jedes Bild den Zweifel an der Glaubwürdigkeit anheften werden. Die Folgen für unsere historische Erinnerung könnten fatal sein – oder bieten sie gar die Möglichkeit zu ihrer Optimierung?
Von Konstantin Schönfelder | 12.02.2025
Der Verkauf eines Gemäldes mit dem Titel „A.I. God“ bei Sotheby’s erregte großes Aufsehen, als es im November 2024 für mehr als eine Million Euro versteigert wurde. Unruhe herrschte nicht so sehr, weil der KI-Gott auf dem Bild Alan Turing zu sein scheint, sondern weil hinter dem Werk keine „echte“ Künstlerin steckt. Es ist „nur“ eine Maschine, die gewissermaßen ihrem Schöpfer ein Denkmal setzt. Eine humanoide Roboterin mit Bob-Frisur und dem Namen, ja: Ai-Da (die an die Mathematikerin Ada Lovelace erinnern soll, die als die erste Person gilt, die Computerprogramme schrieb), hatte sich dazu „entschieden“, Alan Turing für ihr künstlerisches Debüt-Motiv zu wählen.
Ai-Da jedenfalls werkelte seit 2023 an ihrem Kunstwerk, nachdem sie ein Galerist in der Nähe von Oxford zuvor ins Leben gerufen hat. In einem nicht unkomplizierten und ganz und gar humanoid angelegten Prozess der Ausgestaltung (Small 2024) kam sie zu ihrem nun verkauften Ergebnis, und reflektierte ihr eigenes Kunstwerk mit den Worten: „The key value of my work is its capacity to serve as a catalyst for dialogue about emerging technologies.“ In der Tat gibt es eine wachsende Überschneidung von KI-Technologien und dem Kunstmarkt. Auch das Auktionshaus Sotheby’s bewirbt die Aktion auf diese Weise als schöpferischen Prozess und stellt uns so vor einige komplizierte Fragen. Nach Autorschaft, Verantwortung, nach ästhetischen Prinzipien.
Der Dialog, den Ai-Da weiter vorantreiben „will“, ist in vollem Gange; und gerade die Frage, wie Ai-Da Turing „erinnert“, wie wir demgegenüber die Vergangenheit erinnern, wie sich Vergangenheit überhaupt zusammensetzt, bekommt mit generativen, künstlich intelligenten Systemen einen ganz neuen drive. Erzählt die KI Geschichte? Kann sie sie rekonstruieren, sogar korrigieren? Unter der mittlerweile allein in Deutschland unüberblickbaren Zahl von Ausstellungen des vergangenen Jahres mit, über und von KI liefern vor allem zwei Ausstellungen in Darmstadt und Heidelberg interessante Schlaglichter. Sie führen uns vor Augen, welchen Preis wir zahlen, wenn wir Geschichte mit Hilfe generativer künstlicher Intelligenz neu erzählen oder eher: erfinden.
Darmstadt: Wissenschaftlerinnen ohne „richtiges“ Bild
Im Forum der Darmstädter Schader-Stiftung war im Sommer 2024 eine Ausstellung zu sehen, die KI-generierte Bilder von Wissenschaftlerinnen zeigte. „Versäumte Bilder“1 waren es, so der Titel der Ausstellung, die folglich eigentlich schon vor ihr hätten existieren müssen. Zu sehen waren fotorealistische Abbilder von Frauen, die alle „geniale Wissenschaftlerinnen aus ganz unterschiedlichen Disziplinen“ waren, ohne aber, dass von ihren Leistungen „angemessene Fotografien“ existieren würden. Was bei ihren männlichen Pendants undenkbar sei. Es sind also „utopische“ Bilder, entworfen von einer Künstlichen Intelligenz (generiert mit dem Programm Midjourney), die Frauen aus der regionalen und internationalen Wissenschaftswelt zeigen, wie sie Nobelpreismedaillen in die Kamera halten (die sie hätten bekommen sollen), auf der Baustelle posieren oder sich vor Luxus-Autos im Hermes-Kostüm zeigen. Wir sehen die Forscherinnen, wie wir sie noch nie oder jedenfalls nicht auf diese Weise gesehen haben, und wie sie Dinge tun, die sie nie wirklich getan haben. Die Idee ist naheliegend: Der Nobelpreis wäre verdient gewesen, so etwa für Rosalind Franklin und ihre Forschung zum Verständnis der Desoxyribonukleinsäure, mit deren Beweisbildern sich später Watson und Crick den Nobelpreis für die Entdeckung der Doppelhelix-Struktur der DNA überreichen ließen, ohne auch nur ihren Namen zu nennen. Nun also wird das versäumte Bild posthum nachgestellt: Wir sehen Rosalind Franklin mit der glänzenden Nobelmedaille, noch dazu in einem höheren Alter, das sie nie erreichen konnte, denn sie starb bereits mit 37 Jahren an einer Krebserkrankung.
Insgesamt zeigte die Ausstellung 17 Bilder von mehr und weniger international bekannten Wissenschaftlerinnen. Rosalind Franklin, die amerikanische Biologin und Zoologin Rachel Louise Carson oder die deutsche Genetikerin und Botanikerin Elisabeth Schiemann. Es sind aber auch Bilder von Frauen generiert worden, die einen regionalen Fokus berücksichtigen. Einem Aufruf der Stiftung sind mehrere Institutionen der hessischen Wissenschaft gefolgt und haben Vorschläge eingereicht, die Berührungspunkte mit der Forschungslandschaft hierzulande haben: So etwa die Sozialwissenschaftlerin Erika Spiegel, die erste Schaderpreisträgerin 1993, von deren Preisverleihung es allerdings keine fotografischen Zeugnisse gibt, Jovanka Bončić-Katerinić (erste Diplomingenieurin Deutschlands) oder Judita Cofman (die erste Professorin für Mathematik an der Universität Mainz). Neben jedem künstlich intelligent erzeugten Bild wurde eine Biographie angebracht, die man sich über einen QR-Code, von der Stimme der Physikerin Lise Meitner („Mutter der Kernspaltung“), die auch eines der 17 versäumten Porträts erhalten hat, vorlesen lassen kann. Die Stimme von Meitner ist ihrerseits künstlich generiert (Eleven Labs).
Ausstellung „Versäumte Bilder“ in der Darmstädter Schader-Stiftung (März bis Juni 2024), Foto des Autors.
Dazu werden Zusatzinformationen zur Arbeit mitgegeben. Für die „eingelesenen“ Kurzbiographien sind neben dem Verweis auf die entsprechende Software die Trainingsdaten ausgewiesen – eine Aufnahme des SWR von Lise Meitner aus dem Jahr 1953, online abrufbar und verlinkt – und für die KI-Bilder sind das Referenzfoto (das Original) genauso einsehbar wie die Prompts, die die Midjourney-Intelligenz zu ihrer Kreativleistung angeregt haben. Man merkt, dass hier wissenschaftliche Akteure und eine Wissenschaftskommunikatorin am Werk gewesen sind, in Person von Gesine Born, die mit großer Sorgfalt und Reflexion die Prozesse und Bedingungen der eigenen Arbeit offenlegen. Dazu gibt es ein Making-of-Video, das den Bildschirm bei der Arbeit an der Bilderzeugung aufzeichnet, versehen mit einigen Merksätzen wie diesem: „KI arbeitet mit dem Bildmaterial, das im Internet vorhanden ist. Je einfacher die Eingabe, desto mehr sucht die KI nach fehlenden Daten aus der eigenen Erfahrung.“ Die KI ist also so stereotyp wie das Material, auf das sie sich beruft, und bedarf deshalb einer sorgfältigen Moderation – das ist mittlerweile ja bekannt, und auch die „Versäumten Bilder“ nehmen das ernst. Man müsse demnach „gegen den Bias anprompten“. Die Ausstellung war (und ist) zudem digital aufrufbar, über die Seite des „Bilderinstituts“, das Gesine Born gegründet hat und leitet, und das sich schon seit Längerem um eine verbesserte visuelle Sichtbarkeit von wissenschaftlicher Arbeit und Arbeitenden bemüht.
Doch mit der Sichtbarkeit ist das so eine Sache. Denn in der Vergangenheit wurde es eben nicht versäumt, echte Bilder von diesen Frauen zu machen. Es gibt Bilder von Ihnen, mitunter sogar viele und auch gute. Man fand sie bereits jetzt im Netz: teils bescheiden in der Aufmachung, schwarz-weiß, aber klar und ihrer Zeit entsprechend. Versäumt worden ist vielmehr die rechtmäßige Anerkennung und Auszeichnung ihrer Leistungen, was nun mit diesen Bildern nicht nachträglich einfach wiedergutgemacht werden kann. Bei der offiziellen Eröffnung der Ausstellung wurde zwar immer wieder betont, wie sehr man mit dem Projekt nun endlich gegen „das Vergessen“ anarbeite. Doch in der künstlichen Produktion dieser Bilder entstehen ganz neue, merkwürdige pseudohistorische Festlegungen und Effekte: Die Gestalt von Elisabeth Schiemann wurde gepromptet mit „ein Foto der 20-jährigen Wissenschaftlerin Elisabeth Schiemann, lächelnd, tanzend in einer Straße in Berlin, Straßenfoto von Albert Renger Patsch“. Keines dieser Attribute ist allerdings besonders plausibel. Tanzt sie auf der Straße, weil sie zu den ersten Frauen gehörte, die 1908 in Berlin ein Studium aufnehmen durfte? Wäre das ihr Ausdruck gewesen? Und warum ein Bild einer ganz jungen Schiemann, wo eine Google-Suche etwa zahlreiche Bilder der Wissenschaftlerin in höherem Alter zeigen? Es gibt also keine wirkliche Referenz, das Bild ist fast vollständig eine Halluzination der KI. Zudem gleicht die Frau im Bild einem Poster-Model, das für die Kamera tanzt, was wohl schwer mit der Realität der wissenschaftlichen Arbeit in Übereinstimmung zu bringen ist. Ein ähnlicher Eindruck der Übersteuerung (auch aufgrund der kontingenten Festlegung der Prompts) kommt bei den hoch aufgelösten Bildern der schick inszenierten Frauen fast durchweg auf. Das scheint der Schöpferin, Gesine Born, auch völlig klar zu sein, denn sie eröffnete die Bilder-Ausstellung mit den Worten, die Bilder seien „nicht das Wichtige, sondern der Prozess, den wir alle durchlaufen sind, die Gespräche“. Allerdings schaffen ihre Werke nun auch ein praktisches Problem: Bei der Google-Bildersuche nach Schiemann, beispielsweise, taucht recht früh auch das Bild der tanzenden, 20-jährigen Frau auf, die es nie gegeben hat. Und werden künftige Nutzer das nun im Web verewigte Bild von Franklin mit Nobelpreis hinterfragen? Wer macht sich die Mühe, der (wohlgemeinten) Geschichtsklitterung auf den Grund zu gehen? Und wie gehen Maschinen mit den falschen Bildern Schiemanns um, die sie selbst in Umlauf gebracht haben? Greift KI sie nun automatisch auf?
Heidelberg: Alte Gewänder, künstliche Gerechtigkeit
Dass eine generative KI zur Verunklarung diese Grenze von Fiktion und Realität, gewünschter bzw. geträumter und dokumentierter Vergangenheit ein Stück weit untergräbt, liegt in der Natur der Sache. Das Problem spitzt sich aber gerade in gerechtigkeitssensiblen Fragen besonders zu. Bei der Frage etwa: Sind die wissenschaftlichen Leistungen weiblicher Forscherinnen angemessen repräsentiert? Oder: Mit welchen visuellen Stereotypen sehen wir uns mit Blick auf Schwarze Menschen konfrontiert? Das war eines der Themen einer Ausstellung in Heidelberg.
Die Ausstellung „Die Erfindung des Fremden in der Kunst“, die im Januar 2025 endete, versammelte Bilder und Exponate, in und mit denen historisch das Andere, Fremde, Orientalische konstruiert wurde. Es sind Ausschnitte der rassistischen, sexistischen, kolonialen europäischen Geschichte. Wie blickte Europa um 1500 auf die Amerikas? Welche europäischen Fantasien verbargen sich in den Darstellungen des Orients? So weit noch ohne KI. Doch im letzten Abschnitt sind „Weiße Blicke – Visuelle Konstruktionen von Whiteness“ das Thema, und unter ihnen die Fotoserie „Historical Correction“ von Maxine Helfman. Sie zeigt Porträts Schwarzer Personen im Stil barocker Standesportraits. „Sie bildet einen Gegenentwurf zu den historischen Bildnissen, in denen Menschen dunkler Körperfarbe als Objekte weißer Selbstinszenierung ohne Individualität erscheinen. Damit verweisen die Fotografien auf den Zusammenhang von gesellschaftlicher Autorität und Repräsentation in der Kunst: In den sozialen Eliten des Barock sind Schwarze Menschen nicht vertreten (…). Die Serie versteht sich als Korrektur historischer Ungleichheit: im ‚Empowerment‘ Schwarzer Personen durch eine weiße Fotografin klingen alte Machtgefälle zugleich unbeabsichtigt nach.“ (Wandtafel der Ausstellung, siehe auch Haehnel 2024) Es braucht freilich die KI nicht, um eine Geschichte aus der Geschichte zu erzählen, die so nicht stattgefunden hat. Aber es kommt einem in unserer KI-euphorischen Gegenwart nicht nur wie eine KI-Koproduktion vor, es hätte nicht nur eine KI-generierte Foto-Serie sein können, sondern die Kuratorin der Ausstellung verweist explizit neben den Fotografien auf diesen vermuteten, ja dadurch suggerierten Zusammenhang. Zu lesen ist der Satz, dass sich mit Hilfe von KI-generierten historisch wirkenden Fotografien Schwarzer Menschen eine historische Korrektur dieser Art bewerkstelligen lässt: „Schwarze Künstler*innen holen sich (…) Deutungshoheit zurück.“
Und ja: es lässt sich nicht bestreiten, dass diese Bilder unsere Sehgewohnheiten herausfordern. Darin scheint eine Leistung dieser Abbildungen zu bestehen: Dass sie uns auf die Gemachtheit der Geschichte hinweisen und damit die Aufforderung verbinden, sie uns auch weiterhin im Konjunktiv vorzustellen. Es hätte eine andere Geschichte sein können, und so kann es eine andere Gegenwart sein, müssen wir an einer anderen, das heißt besseren, gerechteren Zukunft arbeiten … Die Bilder überraschen und irritieren und lassen uns fast mit einem (gleichwohl) falschen Gefühl der Genugtuung zurück.
Ausstellung „Die Erfindung des Fremden in der Kunst“ im Kurpfälzischen Museum Heidelberg (Oktober 2024–Januar 2025), Foto des Autors.
Auch hier, ähnlich, wenn auch doch ganz anders, als bei den Wissenschaftlerinnen in Darmstadt, soll diese Korrektur nachträglich für ein wenig Gerechtigkeit sorgen. Die Schicksale geschichtlich häufig namenloser, nicht erzählter, unterdrückter Menschen werden hier nun visuell angedeutet. So verständlich also dieser Wunsch und so unbestreitbar der visuelle „Effekt“ ist, so irritierend bleibt sein Ergebnis: Auf welche Weise werden die flämischen Gewänder, einst Symbol des kolonialen Reichtums, getragen von den Unterdrückten, nun Gegenstand einer subversiven Handlung? Wir sollen uns die Geschichte aus der Gegen-Perspektive vorstellen, aber im Rahmen, Stil und Outfit der kolonialen Darstellung? Die Künstlerin Helfman sagte über ihre eigene Serie in einem Interview: „We are a visual species and seeing things presented right in front of us, in a dignified (and even beautiful way) allows the brain to accept it.” (Helfman 2022) Erzählt das gleiche Bild mit einem anderen Gesicht eine andere Geschichte? Oder bräuchte es nicht ein anderes Bild, um diese zu erzählen?
Fazit
In beiden Ausstellungen wird historische Präsenz („Sichtbarkeit“) verkürzt als „bebildert“ verstanden, mit unterschiedlichen Konsequenzen. Die tatsächliche Frage am Grund der Darmstädter Ausstellung in der Schader-Stiftung bleibt: Was macht eine Wissenschaftlerin, einen Wissenschaftler sichtbar? Ein Foto der Person ist es wohl nicht, ob nun real oder künstlich erzeugt. Ausschlaggebend ist doch, wie einschlägig die Veröffentlichungen sind, wo man von wem zitiert wird, wie präsent und wirkungsvoll die Arbeit sein kann, der Ort und die Institution, an dem die Arbeit ausgeübt wird, die Preise, die einem verliehen werden usw.. Dass Frauen oder Menschen bestimmter Herkünfte von den etablierten Institutionen des Denkens lange ausgeschlossen waren und sind, sollte zugleich nicht darüber hinwegtäuschen, dass ihre nachträgliche Ins-Bild-Setzung historische Ungerechtigkeiten nicht ausgleicht. Die künstlich erzeugten Bilder haben mitunter gar einen gegenteiligen Effekt: Wenn man sieht, wie die Frauen tanzen und Preise entgegennehmen, drohen sie zu bloß freundlichen und nahbaren Mutmachergeschichten zu werden. So wird die wissenschaftliche Leistung sowie das vergebliche Ringen um Anerkennung ein zweites Mal unsichtbar gemacht.
Und auch gegen die Fotografien aus „Die Erfindung des Fremden“ lässt sich einwenden, dass es durchaus historische Bilder von Schwarzen Menschen gibt, die bestehende, weiße Narrative infrage stellen und brüchig machen. (The Conversation 2021) Sollten die „historical corrections“ nicht neu und damit neu eingeführten Problemen anstatt erfunden, gefunden und von dort aus reimaginiert werden? Mit dem neuen technologischen Mittel KI-Bildgenerator sind nun fantastische Fabrikationen sehr viel leichter, massenförmiger und schneller zu produzieren, die langfristig wohl an jedes Bild den Zweifel an der Glaubwürdigkeit anheften werden, mit fatalen Folgen für unsere historische Erinnerung.
Die versäumten Bilder von Wissenschaftlerinnen oder barocken flämischen Kaufleuten dunkler Hautfarbe sind am ehesten – so könnte man sagen: geträumte Bilder. Und sobald wir aufwachen, droht uns, wieder in unsere alte, rassistisch und sexistisch organisierte Welt zurückzufallen. So zu tun, als hätten wir diese bereits hinter uns, lässt die Hoffnung darauf eher schwinden, dergleichen könnte tatsächlich bald hinter uns liegen. ■
Carrasco, Julia (2024): Die Erfindung des Fremden in der Kunst. Ausstellungskatalog, Kurpfälzisches Museum Heidelberg.
Haehnel, Birgit (2024): Weisse Blicke – Visuelle Konstruktionen von Whiteness. In Julia Carrasco (Hrsg.): Die Erfindung des Fremden in der Kunst. Petersberg: Michael Imhof, S. 149–171.
Generative KI und Dual-Use: Risikobereiche und Beispiele
Die Fähigkeiten generativer KI beeindrucken – und beunruhigen, denn KI ist eine Dual-Use-Technologie. KI-Systeme können sowohl für zivile als auch für militärische Zwecke, sowohl in vorteilhafter als auch schädlicher Absicht eingesetzt werden. Technologien wie Maschinelles Lernen und Generative KI verändern dadurch die Landschaft der Sicherheitsrisiken tiefgreifend – für Bürger, Organisationen, Gesellschaften und Staaten. Doch welche Risikobereiche sind konkret betroffen? Und wie kann man gegensteuern?
Von Andreas Brenneis | 07.11.2024
Erstellt mit Adobe Firefly
Die rasanten Entwicklungen im Forschungsfeld der Künstlichen Intelligenz (KI) bringen technologische Fortschritte wie auch gesellschaftliche Implikationen mit sich und machen multiperspektivische Diskussionen unter Berücksichtigung diverser normativer Rahmenwerke notwendig. „KI“ ist als Begriff zunächst weit und abstrakt und umfasst unterschiedliche Technologien und Anwendungen, sodass es nicht verwundert, dass sie eine Fülle von Bewertungsfragen aufwirft, wobei diverse Normenordnungen berührt sind: rechtliche Regeln, ethische Prinzipien, moralische Normen, soziale Standards, kulturelle Werte, religiöse Gesetze, politische Ideale und ethische Überlegungen (vgl. auch Kettemann 2020).
KI-Systeme und insbesondere Generative KI werden zudem sehr verschiedenen Nutzungsgruppen zugänglich. Dadurch erlangen Fragen des Dual-Use ebenfalls größere Bedeutung. Die Perspektive des Dual-Use umfasst mehrere Normordnungen und wirft im Kern Dilemmata hinsichtlich der Forschung und Entwicklung von Wissen, Technologien und Werkzeugen auf, die für böswillige Zwecke missbraucht werden könnten, die also neben einem ersten erwünschten oder gebilligten Einsatzbereich auch noch einem zweiten, unerwünschten Zweck dienen können (Tucker 2012, Riebe 2023). In den folgenden Abschnitten werde ich die spezifische Herausforderung des Dual-Use hinsichtlich der Entwicklung von Generativer KI erörtern. Ich gehe daher also nicht auf allgemeine Bedenken hinsichtlich Künstlicher Allgemeiner Intelligenz (zu Artificial General Intelligence, kurz AGI, vgl. McLean et al. 2023), den in maschinellen Lernansätzen inhärenten Verzerrungen (zu Biases vgl. Ntoutsi et al. 2020) oder betrieblicher Probleme in praktischen KI-Einsatzkontexten (Raji et al. 2022) ein.
Wie vielfach diskutiert, birgt KI-Technologie Potenzial sowohl für die Förderung als auch für die Untergrabung menschlichen Wohlergehens – abhängig von ihrer Nutzung, also ihrem kontextspezifischen Ge- oder Missbrauch (Brenneis 2024, Ambrus 2020). Die rasante Entwicklung und kontinuierliche Verfeinerung von Maschinellem Lernen, Generativer KI und von großen Sprachmodellen verdeutlicht die Möglichkeiten, sie für komplexe kreative Unternehmungen nutzen und positive Entwicklungen in verschiedenen Bereichen wie der Verbesserung von Arbeitsabläufen und der Datenanalyse erzielen zu können. Als Teilgebiete der KI nutzen die Natürliche Sprachverarbeitung (Natural Language Processing, kurz NLP) und die Generative KI Techniken des Deep Learning sowie umfangreiche Datensätze, um neuronale Netzwerke zu trainieren und es ihnen zu ermöglichen, verschiedene Formen kultureller Schöpfungen und Artefakte anhand von statistischen Mustern zu verstehen und zu generieren. Während dies erhebliche Chancen für Unternehmen und die Öffentlichkeit bietet, birgt es auch Risiken: Der Missbrauch von KI durch Kriminelle und andere Akteure mit bösartigen Absichten kann das individuelle Wohlergehen gefährden und grundlegende Rechte sowie den sozialen Zusammenhalt untergraben. Generative KI-Systeme sind in der Lage, neue Inhalte wie Texte, Bilder, verschiedene andere Medienformen oder Code zu erzeugen und machen Dual-Use-Überlegungen in Bezug auf KI äußerst komplex (Grinbaum & Adomaitis 2024, Kaffee et al. 2023, Solaiman et al. 2019).
Dual-Use-Dilemmata liegen dann vor, wenn unsicher ist, ob und wie potenzielle negative Folgen des Missbrauchs von Technologie oder Forschungsergebnissen zu verhindern sind, ohne zugleich die prospektiven Vorteile von Forschung und Technik aufzugeben. Diese Dilemmata werfen schwierige Fragen zum Gleichgewicht zwischen den Risiken und Nutzen im Zusammenhang mit der Entwicklung, Verbreitung und Regulierung potenziell gefährlicher Technologien oder Forschungsergebnisse auf. Dual-Use-Bedenken gewannen während des Kalten Krieges an Bedeutung, als Technologien, die ursprünglich für militärische Zwecke entwickelt wurden, wie etwa Kernenergie und biologische Wirk- und Kampfstoffe, ethische Fragen hinsichtlich ihrer potenziellen zivilen Anwendungen aufwarfen. Zugleich verstärkten sich Befürchtungen, dass Entwicklungen mit Dual-Use-Potenzial nicht nur für friedliche, sondern auch für schädliche Zwecke ausgenutzt werden könnten, bis hin zum Einsatz als Massenvernichtungswaffen. Als Antwort entstanden erste Rahmenwerke zur Regulierung und Kontrolle solcher Technologien (Forge 2010, Tucker 2012, Oltmann 2015).
In den Bereichen Informatik und Informationstechnologie liegt die Herausforderung im Zusammenhang mit Dual-Use darin, dass das jeweilige Risiko vom Stand und Prozess der Forschung und Entwicklung der betreffenden Arbeit abhängt, während die Technologie selbst inhärent ambivalent bleibt. Software zeichnet sich durch ihre vielseitige Einsatz- und Anpassungsfähigkeit in sowohl allgemein akzeptierten als auch in schädlichen Kontexten aus und unterscheidet sich dadurch erheblich von den unmittelbar schädlichen Auswirkungen chemischer, biologischer und nuklearer Waffen (Riebe & Reuter 2019). Daher müssen Bewertungen des Dual-Use-Risikos im IT-Bereich auf Fallstudien basieren und die spezifische Verflechtung von genau umrissenen Kontexten und KI-Technologien analysieren. Bis vor wenigen Jahren hat sich die Dual-Use-Debatte in der Informatik hauptsächlich auf Kryptografie (Vella 2017) und die Verbreitung von Spionagesoftware konzentriert – begleitet von ersten Ansätzen in der IT-Sicherheitsforschung (Weydner-Volkmann & Cassing 2023). Die IT-Sicherheitsforschung gewinnt rapide an Bedeutung, da Angriffe auf IT-Systeme erhebliche Auswirkungen auf Einzelpersonen, Unternehmen, Institutionen, Behörden und sogar ganze Gesellschaften haben können (z. B. wenn sie auf kritische Infrastrukturen abzielen). Angesichts der tiefen Integration von IT-Systemen in den Alltag von immer mehr Menschen wird die Sicherheit dieser Systeme zu einer gesellschaftlichen Aufgabe. Digitale Angriffe auf IT-Systeme sind global, anonym und zunehmend – auch durch KI – mit geringem Aufwand durchzuführen.
IT-Sicherheit ist insofern eine Art Querschnittsaufgabe, die verschiedene Aspekte des Dual-Use-Problems in Bezug auf KI betrifft. Aber Technologien wie Maschinelles Lernen und Generative KI verändern die Landschaft der Sicherheitsrisiken für Bürger, Organisationen, Gesellschaften und Staaten in noch deutlich umfassenderer Weise (Brundage et al. 2018, da Empoli & Della Porta 2023). Zu analytischen Zwecken lassen sich drei Bereiche unterscheiden, die in der Praxis jedoch eng miteinander verknüpft sind: Der böswillige Einsatz von KI kann nicht nur die digitale Sicherheit gefährden (z. B. wenn Kriminelle Algorithmen trainieren, um ihre Opfer zu hacken oder zu manipulieren), sondern auch die physische (z. B. wenn nichtstaatliche Akteure Konsumdrohnen bewaffnen) und sogar die politische (z. B. durch Überwachung, Profiling, Eingriffe in die Privatsphäre oder durch automatisierte und zielgerichtete Desinformationskampagnen). Um die Dual-Use-Problematik von Generativer KI zu erörtern, werden zunächst spezifische Merkmale von KI-Systemen vorgestellt, die zu deren Dual-Use-Potentialität beitragen. Im folgenden Abschnitt werden dann Dual-Use-Risikobereiche und zugehörige Beispiele besprochen.
1. Welche Merkmale von KI-Systemen sind für potenzielle Dual-Use-Konflikte relevant?
KI ist also eine Dual-Use-Technologie. KI-Systeme und das Wissen über ihre Entwicklung können sowohl für zivile als auch für militärische Zwecke genutzt werden und sowohl zu vorteilhaften als auch zu schädlichen Zwecken führen (zur Vielfalt an Dual-Use-Definitionen vgl. Rath et al. 2014). Und entsprechende Forschung kann nicht einfach vermeiden, Forschungsprogramme und Systeme zu entwickeln, die schädlichen Zwecken dienen könnten. Viele Aufgaben, bei denen eine Automatisierung durch KI sinnvoll ist, stehen selbst guten und schlechten Zwecken offen: Zum Beispiel haben Systeme, die Software auf Schwachstellen überprüfen, sowohl offensive als auch defensive Anwendungen, und der Unterschied zwischen den Fähigkeiten einer autonomen Drohne, die Pakete liefert, und einer, die Sprengstoff abwirft, kann technisch unerheblich sein. Darüber hinaus ist schon Grundlagenforschung zu den generellen Möglichkeiten von KI und zur Verbesserung ihrer Fähigkeiten und zu Möglichkeiten der menschlichen Kontrolle über sie inhärent von Dual-Use-Problemen betroffen.
In Bezug auf Dual-Use-Probleme teilt der Sektor der KI-Forschung drei wesentliche Aufgaben mit anderen Bereichen, die unter die Kennzeichnung als „Dual Use Research of Concern“ bzw. DURC fallen (Grinbaum & Adomaitis 2024, Riebe 2023). Diese Aufgaben umfassen die Überwachung laufender Entwicklungen, die Einrichtung von Governance- oder Kontrollmechanismen für die zugehörige Forschung und die Bereitstellung von Richtlinien für die Entwicklung und den Umgang mit KI-Anwendungen, die als Dual-Use eingestuft werden. Vier Merkmale tragen zu Dual Use Eigenschaften von KI-Systemen bei: qualitative Vorteile, quantitative Anwendbarkeit, leichte Verbreitung und inhärente Schwachstellen.
(1) KI-Systeme können menschliche Fähigkeiten übertreffen, insbesondere in engen, wohldefinierten Aufgabenbereichen. Beispiele sind Spiele (Schach, Go), diagnostische Bildauswertung (Gewebeveränderungen) und selbst frühe Formen generativer KI können Desinformation produzieren, die größere Wirkung hat als menschlich erzeugte Inhalte (Spitale et al. 2023).
(2) Wie andere erfolgreiche Technologien zeichnen sich KI-Systeme durch Effizienz und Skalierbarkeit aus. Ein KI-System kann menschliche Leistungen hinsichtlich Geschwindigkeit oder Kosten übertreffen, (bislang) meist nach einem vorgängigen spezifischen Training. So arbeiten generative KI-Tools bei der Erstellung von Ausschreibungen, Zusammenfassungen oder sogar wissenschaftlichen Artikeln enorme Textmengen durch. Skalierbarkeit meint zusätzlich die Fähigkeit eines Systems, schnell auch mehrere Instanzen einer Aufgabe zu bewältigen. Beispielsweise zeigt ein Gesichtserkennungssystem, das zur Überwachung verwendet wird, im Vergleich zu menschlichen Analysten sowohl hohe Effizienz als auch Skalierbarkeit, wenn es kostengünstige Analysen über millionenfache Kamerafeeds bietet.
(3) Die Möglichkeit der schnellen Verbreitung von KI-Systemen ist ein weiterer entscheidender Aspekt. Wenn Quellcode in der KI-Forschungscommunity verfügbar ist, können neue Algorithmen vergleichsweise schnell repliziert werden. Diese Softwareportabilität ermöglicht die einfache Verbreitung und Weitergabe von KI-Systemen oder zumindest relevantem Wissen auf digitalen Kanälen. Dieses Merkmal ist besonders relevant in Diskussionen über regulatorische Herausforderungen (wie Exportkontrollen) und betont die Sorgen um die Kontrolle und Überwachung der Softwareverbreitung über nationale Grenzen hinweg, insbesondere im Kontext von Dual-Use-Technologien oder Cybersicherheit (Riebe 2023).
(4) Zeitgenössische KI-Systeme sind mit ungelösten Schwachstellen konfrontiert, darunter sogenannter Data-Poisoning-Angriffe, die Fehler verursachen, täuschende Beispiele (adversarial examples), die das System korrumpieren, indem sie Fehlklassifikationen hervorrufen, und die Ausnutzung von Designfehlern in den Zielen autonomer Systeme (BSI 2023). Prompt Engineering, das einerseits entscheidend für die Optimierung von KI ist, kann missbraucht werden, um Formen der Inhaltsmoderation zu umgehen, wie das Beispiel des „DAN“-Jailbreak-Prompts zeigt („DAN“ steht als Akronym für „Do Anything Now“). Trotz der Reaktion von OpenAI auf dieses Problem bereiten neuere Versionen von DAN den Sicherheitsmechanismen des Modells nach wie vor Probleme (Europol 2023). Solche Schwachstellen werden im weiteren Verlauf der Diskussion über Risikoaspekte im Zusammenhang mit generativer KI näher beleuchtet.
Diese vier genannten Aspekte tragen einzeln, aber vor allem zusammen zu den Herausforderungen bei, die mit dem Dual-Use-Potenzial bestimmter KI-Technologien verbunden sind.
2. Dual Use-Risikobereiche im Zusammenhang mit KI
Zu diskutieren sind mehrere – unter dem Dual-Use Gesichtspunkt – ambivalente oder potenziell negative Anwendungsszenarien, ich nenne sie „Risikobereiche“. Sie erstrecken sich in unterschiedlichem Maße über die drei eingangs vorgestellten sicherheitskritischen Bereiche: digitale, physische und politische Sicherheit, der Bedarf an kritischen Dual-Use-Einschätzungen steigt dabei zunehmend.
2.1 Zielsetzungen für KI und Wertediffusion
Da es nicht trivial ist, Algorithmen so zu gestalten, dass sie im Einklang mit menschlichen Werten oder überhaupt nur mit den Zielen der Programmierung arbeiten, besteht das Risiko einer unbeabsichtigten Differenz zwischen den Ergebnissen der KI und den menschlichen Absichten (Christian 2020). Darüber hinaus können KI-Systeme auch explizit auf fragwürdige Ziele hin trainiert werden und dann Wege finden, diese auf Kosten des individuellen oder gesellschaftlichen Wohlergehens zu verfolgen. Empfehlungsalgorithmen z.B. werden häufig darauf trainiert, die Aufenthaltsdauer und die Klickrate zu maximieren. Entsprechende Inhalte tragen jedoch eher nicht zu einem besseren Wohlbefinden bei (Milano et al. 2021). Zudem können Empfehlungssysteme Menschen dazu bringen, extreme Überzeugungen zu entwickeln, um ihre Präferenzen leichter vorhersagen zu können, wodurch sie selbst besser funktionieren.
2.2 Kompetenz- und Kontrollverlust
Wo Verantwortung zunehmend an Maschinen übertragen wird, besteht die Gefahr, wesentliche Kompetenzen zu verlieren. Der fortschreitende Ersatz oder die Verdrängung menschlicher Intelligenz durch KI-Systeme, getrieben durch die Geschwindigkeit und Kosteneffizienz bei der Erledigung bestimmter Aufgaben, erhöht die Wahrscheinlichkeit eines Kompetenzverlusts sowohl auf individueller als auch auf gesellschaftlicher Ebene. Dieser Trend ist im Hinblick auf kognitive Fähigkeiten problematisch, einschließlich Fertigkeiten in Bereichen wie Forschung, Planung oder Bewertung. Aber auch soziale Interaktionsformen können durch generative KI starken Veränderungen unterworfen werden. Darüber hinaus könnten Unternehmen angesichts der raschen Veränderungen im makroökonomischen Umfeld freiwillig Teile ihrer Kontrolle an KI-Systeme abgeben, um wettbewerbsfähig zu bleiben. Und im militärischen Bereich gibt es eine grundlegende ethische Debatte darüber, welche Kompetenzen und Entscheidungen im Falle von Kriegshandlungen an Maschinen delegiert werden dürfen (Reichberg & Syse 2021, Lucas et al. 2023).
2.3 Anonymität und psychologische Distanz
Zahlreiche kognitive Aufgaben beinhalten die Interaktion und Kommunikation mit Menschen. Dazu gehören Aktivitäten wie Beobachten, Reagieren auf Handlungen, Entscheiden und das Verhandeln gemeinsamer Ziele. Die KI-gesteuerte Automatisierung solcher Aufgaben ermöglicht es Akteuren, anonym zu agieren und dabei eine erhebliche psychologische Distanz zu denjenigen zu wahren, die sie beeinflussen. Zum Beispiel kann derjenige, der ein autonomes Waffensystem für einen Angriff einsetzt, die physische Präsenz am Tatort und den direkten Kontakt mit dem Opfer vermeiden. Diese erhöhte Distanz zeigt sich auch bei Anwendungen wie Chatbots oder Assistenzsystemen im Pflegebereich und spielt insbesondere bei Aktivitäten, die im digitalen Bereich Schaden verursachen (z.B. Social Engineering, Malware, Ransomware) eine zentrale Rolle.
2.4 Datenschutz, Umwidmung und Entanonymisierung von Daten
KI verstärkt nicht nur die Effizienz, sondern transformiert auch das Feld des Datenschutzes und bringt sowohl auf individueller wie auch auf struktureller Ebene Herausforderungen mit sich. Selbst altbackene Datenquellen wie Bezahlkarten für Mensa oder Cafeteria können durch gezielte Fragen nuancierte Informationen über die Gewohnheiten, Zugehörigkeiten und potenziellen Gesundheitsrisiken einer Person enthüllen. Heute gibt es umfangreichen Datensammlungen, die sich u.a. aus den Tools des Internet-of-Things (wie Überwachungskameras, Sprachassistenten und Smartphones), Datenpools (z.B. im Gesundheitswesen, Wohnungswesen, zur Kreditwürdigkeit oder zu Sozialleistungen) sowie aus den riesigen Mengen an Informationen, die von spezialisierten Unternehmen online gesammelt werden, speisen. Diese Daten erlauben umfassende Analysen und erhöhen den Bedarf an robusten Datenschutzmaßnahmen und Medienkompetenzen. Datenschutzprobleme werden mit den Fähigkeiten der KI augenfälliger, wie das Beispiel der chinesischen Stadt Suzhou zeigt, wo KI-gestützte Überwachung Menschen bloßstellte, die in der Öffentlichkeit Pyjamas trugen (Qin 2020). Neben der (potenziell immer totalitären) Überwachung haben Cyberangriffe das Potenzial, erhebliche persönliche Informationen abzugreifen. Besonders bemerkenswert ist der Einsatz eines Modells zur Dosierung von Medikamenten und demografischen Daten, bei dem Angreifer genomische Informationen über Patienten vorhersagen konnten (Fredrikson et al. 2014). Fälle von Identitätsdiebstahl haben dazu geführt, dass Behandlungen unter falschen Namen abgerechnet wurden, was erhebliche finanzielle Folgen nach sich zog (Seh 2020).
2.5 Desinformation und Social-Engineering
Von KI erzeugte Desinformationen, einschließlich überzeugend gestalteten Contents, können zu substantieller individueller und gesellschaftlicher Verwirrung und Zwietracht führen. Akteure wie Staaten, politische Parteien und andere Organisationen nutzen Technologien, um andere von ihren politischen Überzeugungen, Ideologien und Narrativen zu überzeugen. Im Kampf um Aufmerksamkeit könnte KI zu einer neuen Ära führen und personalisierte Kampagnen (einschließlich Desinformation) in bisher unbekanntem Maßstab ermöglichen. KI kann überzeugende, faktisch genaue Argumente formulieren, die intensive emotionale Reaktionen hervorrufen, aber sie öffnet auch Tür und Tor zur Erstellung von Fälschungen und Deepfakes. Generative KI birgt zwei wesentliche Bedrohungen im Hinblick auf das soziale Gefüge in der Online-Welt (Koplin 2023). Die erste Sorge bezieht sich auf den möglichen Missbrauch generativer KI zur Herstellung von „synthetischen“ Fake News, wodurch sich ein ansonsten ressourcenintensiver Prozess automatisieren lässt, der sonst von Menschen durchgeführt wird. Diese Automatisierung ermöglicht es mühelos irreführende Artikel und Posts zu erstellen, um bestimmte Perspektiven zu unterstützen, politische Regime zu diskreditieren oder Produkte, Einzelpersonen oder Unternehmen zu (dis-)liken – je nach Ziel oder Auftrag. Eine zweite Bedrohung betrifft die potenzielle Nutzung der Technologie für Astroturfing und verwandte Aktivitäten, die die Erstellung kohärenter, diversifizierter und v.a. menschlich wirkender Content-Versatzstücke zu beliebigen Themen automatisiert. So lassen sich z.B. soziale Medien mit Posts überfluten, die eine politische Haltung fördern (eben das „Astroturfing“), oder Plattformen mit Bewertungen für bestimmte Produkte überschwemmen (seien es Nagellack oder Aktien). Generative KI kann somit zur Schaffung falscher Eindrücke beitragen und übermäßigen „Lärm“ (noise) erzeugen, der echte Kommentare und sinnvolle Dialoge behindert. Eng mit der Bedrohung durch Online-Lärm verbunden ist die Überflutung mit minderwertigen Inhalten, die sich über verschiedene Bereiche von Clickbait bis hin zu wissenschaftlichen Publikationen erstreckt. Während diese Bedrohungen nicht völlig neu sind, bringt die generative KI eine beispiellose Kapazität mit sich, böswillige oder irreführende Inhalte in großem Maßstab mühelos zu erzeugen und damit bestehende Herausforderungen im Zeitalter der sozialen Medien zu verstärken (Koplin 2023). Diese Risiken werden oft diskutiert, weil sie das Potenzial haben, etablierte Gewohnheiten zu untergraben – von epistemischen Standards bis hin zu sozialer Harmonie. Sie können aber auch zur Destabilisierung demokratischer Systeme beitragen und Teil krimineller Aktivitäten (King et al. 2020, Europol 2023) oder kognitiver Kriegsführung (Miller 2023) sein.
2.6 Kriminalität
Generative KI erweist sich in verschiedenen kriminellen Unternehmungen als äußerst zielführend (King et al. 2020). Wie im letzten Abschnitt erwähnt, setzen kriminelle Akteure auf Social-Engineering-Techniken, die menschliche Neigungen wie Neugier und Angst ausnutzen, um die Preisgabe von sensiblen Informationen oder die Installation von Malware zu erwirken. Mit den fortschreitenden Fähigkeiten von Computerprogrammen in sozialer Interaktion, wie Chatbots, haben sich solche Social-Engineering-Prozesse weiterentwickelt. KI-Systeme tragen dazu bei, indem sie Prozessschritte automatisieren und relevante Informationen online extrahieren, um individuell zugeschnittene betrügerische Websites, Social-Media-Profile, Links oder E-Mails für Spear-Phishing-Angriffe zu erstellen (BSI 2023). Generative KI-Tools zeichnen sich durch die Erstellung hochgradig realistischer Imitationen aus, die die Effektivität von Phishing-Maschen intensivieren – von betrügerischen Investitionsversprechungen bis hin zu CEO-Fraud. Dabei tragen die kontextuell variablen Antworten und adaptiven Schreibstile dieser Tools zur Erfolgsquote sozialer Kriminalität bei. Folglich beschleunigt generative KI die Entwicklung von Phishing- und Online-Betrugsaktivitäten – besonders durch scheinbare Authentizität und die Skalierbarkeit einzelner Prozessschritte (Europol 2023).
Werkzeuge generativer KI können (angehende) Kriminelle bei ihren Überlegungen und Erkundungen unterstützen, wenn sie relevante Informationen aufbereiten und z.B. Schritt-für-Schritt-Anleitungen zur Verfügung stellen. Insbesondere konversationelle KI-Tools werden so zu einem wertvollen Werkzeug, um ohne vorheriges Wissen Einblicke in verschiedene potenzielle Kriminalitätsbereiche zu gewinnen, von Wohnungseinbrüchen bis hin zu Terrorismus, Cyberkriminalität oder sexuellem Missbrauch.
Werkzeuge wie ChatGPT oder Claude generieren nicht nur menschlich wirkende Spracherzeugnisse, sondern auch Code in verschiedenen Programmiersprachen, was sie zu einem wertvollen Instrument für kriminelle Akteure mit begrenzten Programmierkenntnissen macht (Europol 2023). Schutzmaßnahmen gegen bösartigen Code können umgangen werden, indem man Eingabeaufforderungen umformuliert. Ben-Moshe et al. (2023) beschreiben, wie sich mit ChatGPT ein Virusangriff planen und durchführen lässt und dass entsprechende Akteure die Software quasi mit ihrem Erscheinen in der Öffentlichkeit auch für diese Zwecke genutzt haben.
Im Bereich IT-Sicherheit können böse Programme KI nutzen, um automatisch Schwachstellen in IT-Systemen zu identifizieren und auszunutzen, wobei die Entdeckung neuer Schwachstellen durch die Kenntnis bekannter Muster von Code-Schwachstellen beschleunigt wird (BSI 2023). Dies umfasst KI-unterstütztes Fuzzing, eine Technik, bei der zufällige Eingaben verwendet werden, um Software auf Fehler und Sicherheitsprobleme zu testen. Für Angriffe kann das Zeitfenster zwischen der Meldung einer Schwachstelle und ihrer Schließung genutzt werden, indem lernende Systeme gemeldete Schwachstellen mithilfe öffentlich verfügbarer CVE-Nummern (Common Vulnerabilities and Exposures) automatisch identifizieren und angreifen. Diese automatisierte Analyse und Prüfung kann entscheidend für Angreifer sein, die Websites oder Geräte kompromittieren wollen. Angreifer können auch KI nutzen, um Malware basierend auf Erkenntnissen zu optimieren, die durch die Beobachtung der Reaktionen von Sicherheitssystemen während Angriffen gewonnen wurden. Indem sie Modelle gegen frei verfügbare Sicherheitstechnologien trainieren, können Angreifer legitimen Datentransfer simulieren, um böswillige Aktivitäten zu verschleiern. Zum Beispiel kann das Nachahmen menschlichen Verhaltens bei Distributed-Denial-of-Service-Angriffen (DDoS) es Sicherheitssystemen erschweren, Angriffe zu erkennen oder rechtzeitig zu reagieren. Obwohl diese Formen des KI-Missbrauchs mehr von maschinellem Lernen und Automatisierung als von generativer KI abhängen, stellen sie erhebliche Risiken dar, da sie Angriffe verstärken und die Erkennung umgehen oder zumindest erschweren können.
Eng verbunden mit der KI-gestützten Erkennung und Ausnutzung von Schwachstellen sind Authentifizierungsrisiken und Manipulationsbedrohungen (BSI 2023). Die Manipulationsfähigkeiten von generativer KI stellen eine Herausforderung für bild- und sprachbasierte Authentifizierungen in sicherheitskritischen Bereichen dar, wie beispielsweise bei der biometrischen Identifikation für Smartphones, Banking-Apps und bei Sicherheitskontrollen. Schwachstellen werden durch Angriffe mit 3D-gedruckten Masken, Morphing oder Deepfakes attackiert und bestehen trotz der hoch entwickelten Effektivität von KI-Modellen im Feld der biometrischen Identifikation. Anfälligkeiten bestehen sowohl während des anfänglichen Trainings als auch im Live-Betrieb und betreffen verschiedene Anwendungsfälle von KI-Modellen (Berghoff et al. 2021). Szenarien der Datenvergiftung (Data Poisoning) umfassen die absichtliche Manipulation von Trainingsdaten für maschinelles Lernen oder große Sprachmodelle, um Verzerrungen oder ausnutzbare Hintertüren einzuführen. Adversariale Angriffe manipulieren Live-Eingabedaten, um unbeabsichtigte Ausgaben von KI-Modellen hervorzurufen. Morphing-Angriffe täuschen Gesichtserkennungssysteme, indem sie Datensätze verschmelzen (z.B. biometrische Passfotos). Deepfake-Manipulationen, hochwertige Veränderungen von Gesichtern und Stimmen in Videos und Audio erlauben verschiedene kriminelle Aktivitäten wie das Überwinden von Fernidentifikationssystemen, Verleumdung oder Betrug (z.B. „CEO-Fraud“) und unterstreichen die Notwendigkeit der Wachsamkeit gegenüber der Manipulation (medialer) Identitäten in verschiedenen Kontexten (Brewster 2021, Westerlund 2019).
2.7 Krieg und Waffen
Ein vieldiskutierter Sektor im Bereich sich entwickelnder KI-Fähigkeiten sind die Möglichkeiten und die ethischen Implikationen von tödlichen autonomen Waffen (Lethal Autonomous Weapons, LAWS) für den Einsatz in Kriegsszenarien (Horowitz 2021). Während der Fortschritt von KI-Systemen für automatisierte Cyberangriffe größtenteils vertraulich bleibt und nicht öffentlich zugänglich ist (Buchanan et al. 2020), ist davon auszugehen, dass KI-gestützte Waffensysteme und weitere militärische Anwendungen einen erheblichen Einfluss auf das internationale Kräfteverhältnis ausüben werden (Carozza et al. 2022).
Wie im Bereich der Kriminalität gehen mit dem Erstarken von maschinellem Lernen und generativer KI neue Risiken einher, insofern KI Akteure zu theoretischem und praktischem Wissen befähigen kann, die zuvor keinen Zugang zu Waffen mit Massenvernichtungspotenzial hatten. Drei illustrative Fälle verdeutlichen diese Problematik: Das MegaSyn-Modell wurde ursprünglich für die Medikamentenentwicklung konzipiert und stellt eine potenzielle Bedrohung dar, da es leicht umprogrammiert werden kann, um schädliche Moleküle zu entdecken. Durch die Veränderung weniger Parameter im Algorithmus kann so die Entwicklung von biochemischen Waffen vorangetrieben werden (Urbina et al. 2022). Anwendungen wie GPT-4 verfügen über die Fähigkeit, autonom Experimente durchzuführen und Chemikalien in einem realen Labor zu synthetisieren. Sie können dabei ihren Code anpassen, um eigenständig Protokolle auszuführen (Boiko et al. 2023). Ein Beispiel für die einfache Zugänglichkeit solcher Informationen haben Studierende am MIT aufgezeigt, die zuvor keine Kenntnisse über Dual-Use-Biotechnologie hatten: Sie demonstrierten, wie leicht sich verfügbare Daten über Viren mit pandemischem Potential, Bezugsquellen für Ausgangsmaterialien und Labore mit laxen Sicherheitskontrollen für die Synthese schädlicher Substanzen in Erfahrung bringen lassen (Soice et al. 2023).
3. Was folgt?
Während die dargestellten Risiko- und Anwendungsbereiche keinen umfassenden Überblick über alle potenziellen Dual-Use-Probleme bieten, die zu berücksichtigen sind, geben sie doch Aufschluss über die Bandbreite der Möglichkeiten. In Bezug auf die diskutierten Risikoaspekte, die digitale, physische und soziale oder politische Bedrohungen durch KI umfassen, lassen sich über eine Taxonomie verschiedene Szenarien für den Missbrauch von KI-Technologie und KI-Forschungsergebnissen aufzeigen. Zusätzlich lassen sich drei Arten von Folgen von Missbräuchen feststellen: Erstens gibt es die Erweiterung bestehender Angriffsstrategien, wie etwa die Automatisierung von Forschung durch Kriminelle für personalisierte Spear-Phishing-Angriffe oder die Ausnutzung anfälliger IT-Systeme auf Basis von CVE-Nummern. Zweitens entstehen mit der Entwicklung von KI neue Bedrohungen, darunter gezielte Angriffe auf Schwachstellen von KI-Systemen, autonome Waffen, eine Erleichterung des Zugangs zu potenziell gefährlichen Informationen durch generative KI oder die vereinfachte Umsetzung böser Absichten wie bei der Entdeckung tödlicher Moleküle durch maschinelles Lernen. Drittens können Angriffe ihren Charakter ändern und KI-Fähigkeiten zur effektiven und effizienten Skalierung nutzen. Beispiele hierfür sind umfassendes Social Engineering, kognitive Kriegsführung, Identitätsdiebstahl in den Sektoren Medizin oder Finanzen und generell Ansätze zur De-Anonymisierung.
Was folgt aus der geschilderten Lage? Für eine konsequentere Berücksichtigung von Dual-Use-Überlegungen in KI-Projekten scheint es mir entscheidend, Einzelfälle innerhalb einer Taxonomie zu identifizieren und zu bewerten (Brenneis 2024, Grinbaum & Adomaitis 2024, BSI 2023, EUROPOL 2023, Brundage et al. 2018). Während die Bedrohungen durch generative KI und maschinelles Lernen möglicherweise nicht so offensichtlich oder unmittelbar katastrophal sind wie diejenigen, die mit chemischen, biologischen, radiologischen oder nuklearen Gefahrstoffen verbunden sind, sollten sie nicht unterschätzt werden. Große Sprachmodelle, die prima facie keine großflächige physische Zerstörung und keinen unmittelbaren Schaden verursachen, können dennoch erhebliche Auswirkungen haben (Koplin 2023, Hansel & Silomon 2023). Diese Bedrohungen können sich auf weniger offensichtliche, indirekte oder graduelle Weise manifestieren, was die Erkennung und Vorhersage im Vergleich zu traditionellen Formen der Dual-Use-Betrachtungen und des Dual-Use-Research-of-Concern erschwert. Daher ist es unerlässlich, die potenziellen Risiken und Implikationen der KI-Forschung und -Entwicklung zu erkennen, zu systematisieren und anzugehen. Diese Verantwortung liegt bei der wissenschaftlichen Gemeinschaft und sollte Institutionen wie Forschungsethik-Kommissionen, wissenschaftliche Gesellschaften und Forschungsförderer einbeziehen (Brenneis et al. 2024, ZEVEDI 2023). Mit dem Fortschritt der KI-Fähigkeiten müssen die Diskussionen über Dual-Use-Research-of-Concern erweitert werden, um Szenarien des Missbrauchs durch KI-Forschung einzuschließen und eine effektive Überwachung und Governance für entsprechende Forschung und Entwicklung zu ermöglichen. ■
Literatur
Ambrus, Èva (2020): Artificial Intelligence as Dual-use Technology. AARMS 19(2), S. 19–28.
Ben-Moshe Sharon/Gekker, Gil/Cohen, Golan (2022): OpwnAI: AI that can save the day or hack it away. [online] Check Point, 19.12.2022. https://research.checkpoint.com/2022/opwnai-ai-that-can-save-the-day-or-hack-it-away/ [29.08.2024].
Berghoff, Christian/Neu, Matthias/von Twickel, Arndt (2021): The Interplay of AI and Biometrics: Challenges and Opportunities. In: Computer 54 (9), S. 80–85. DOI: 10.1109/MC.2021.3084656.
Boiko, Daniil/ Gomes, Gabe/MacKnight, Robert (2023): Emergent autonomous scientific research capabilities of large language models. [online] https://arxiv.org/abs/2304.05332 [29.08.2024].
Brenneis, Andreas (2024): Assessing dual use risks in AI research: necessity, challenges and mitigation strategies. In: Research Ethics. DOI: 10.1177/17470161241267782.
Brenneis, Andreas/Gehring, Petra/Lamadé, Annegret (2024): Zwischen fachlichen Standards und wilder Innovation: Zur Begutachtung von Big Data- und KI-Projekten in Forschungs-Ethikkommissionen. In: Ethik in der Medizin. DOI: 10.1007/s00481-024-00811-y.
Brewster, Thomas (2021): Fraudsters Cloned Company Director’s Voice In $35 Million Heist, Police Find. [online] Forbes, 14.10.2021. https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud-uses-deep-fake-voice-tech-to-steal-millions/ [29.08.2024].
Brundage, Miles et al. (2018): The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. [online] https://arxiv.org/abs/1802.07228 [29.08.2024].
BSI (2023): AI security concerns in a nutshell – Practical AI-Security guide. [online] https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Practical_Al-Security_Guide_2023.html [29.08.2024].
Buchanan, Ben/Bansemer, John/Cary, Dakota/Lucas, Jack/Musser, Micah (2020): Automating Cyber Attacks: Hype and Reality. Center for Security and Emerging Technology, November 2020. DOI: 10.51593/2020CA002.
Christian, Brian (2020): The Alignment Problem. Machine Learning and Human Values. New York: W. W. Norton & Company.
Da Empoli, Stefano/Della Porta, Maria Rosaria (2023): The Impact of Generative AI. In: PromethEUs: Artificial Intelligence: Opportunities, Risks and Regulation. S. 33–47. [online] www.prometheusnetwork.eu/publications/prometheus-publication-artificial-intelligence-opportunities-risks-and-regulations/ [29.08.2024].
EUROPOL (2023): ChatGPT – The impact of Large Language Models on Law Enforcement. [online] https://www.europol.europa.eu/publications-events/publications/chatgpt-impact-of-large-language-models-law-enforcement#downloads [29.08.2024].
Forge, John (2010): A note on the definition of “dual use”. Science and Engineering Ethics, 16 (1), S. 111–118. DOI: 10.1007/s11948-009-9159-9.
Fredrikson, Matthew/Lantz, Eric/Jha, Somesh/Lin, Simon/ Page, David/ Ristenpart, Thomas (2014): Privacy in Pharmacogenetics: An End-to-End Case Study of Personalized Warfarin Dosing. Proc USENIX Secur Symp, S. 17–32. [online] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4827719/ [29.08.2024].
Grinbaum, Alexei/Adomaitis, Laurynas (2024): Dual use concerns of generative AI and large language models. In: Journal of Responsible Innovation 11(1). DOI: 10.1080/23299460.2024.2304381.
Hansel, Mischa/Silomon, Jantje (2023): On the Peace and Security Implications of Cybercrime. A Call for an Integrated Perspective. IFSH Institute for Peace Research and Security Policy: Research Report #12. DOI: 10.25592/ifsh-research-report-012.
Horowitz, Michael (2021): When speed kills: Lethal autonomous weapon systems, deterrence and stability. In: Sechser, T. (Hrsg.): Emerging Technologies and International Stability. London: Routledge, S. 144–168.
King, Thomas/ Aggarwal, Nikita/Taddeo, Mariarosaria/Floridi, Luciano (2020): Artificial Intelligence Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions. In: Science and engineering ethics 26 (1), S. 89–120. DOI: 10.1007/s11948-018-00081-0.
Koplin, Julian (2023): Dual-use implications of AI text generation. In: Ethics Inf Technol 25 (2), S. 1–11. DOI: 10.1007/s10676-023-09703-z.
Lucas, George/Helkala, Kirsi Marjaana/Syse, Henrik/Barret, Edward (Hrsg.) (2023): Ethical Challenges in AI-enhanced Military Operations. Frontiers Media SA. DOI: 10.3389/978-2-8325-2896-9.
McLean, Scott/Read, Gemma/Thompson, Jason/Baber, Chris/Stanton, Neville/Salmon, Paul (2023): The risks associated with Artificial General Intelligence: A systematic review. In: Journal of Experimental & Theoretical Artificial Intelligence 35 (5), S. 649–663. DOI: 10.1080/0952813X.2021.1964003.
Milano, Silvia/Taddeo, Mariarosaria/Floridi, Luciano (2021): Ethical aspects of multi-stakeholder recommendation systems. In: The information society 37 (1): S. 35–45.
Ntoutsi, Eirini et al. (2020): Bias in data‐driven artificial intelligence systems – An introductory survey. In: WIREs Data Min & Knowl 10 (3). DOI: 10.1002/widm.1356.
Oltmann, Shannon (2015). Dual use research: Investigation across multiple science disciplines. In: Science and Engineering Ethics, 21 (2), S. 327–341. DOI: 10.1007/s11948-014-9535-y.
Qin, Amy (2020): Chinese City Uses Facial Recognition to Shame Pajama Wearers. In: The New York Times, 21.01.2020. [online] https://www.nytimes.com/2020/01/21/business/china-pajamas-facial-recognition.html [29.08.2024].
Raji, Inioluwa Deborah/Kumar, Elizabeth/Horowitz, Aaron/Selbst, Andrew (2022): The Fallacy of AI Functionality. In: FAccT ‘22: 2022 ACM Conference on Fairness, Accountability, and Transparency. New York: ACM, S. 959–972.
Rath, Johannes/Ischi, Monique/Perkins, Dana (2014): Evolution of different dual-use concepts in international and national law and its implications on research ethics and governance. In: Science and Engineering Ethics 20(3), S. 769–790. DOI: 10.1007/s11948-014-9519-y.
Reichberg, Gregory/Syse, Hendrik (2021): Applying AI on the Battlefield: The Ethical Debates. In: von Braun, Joachim et al. (Hrsg.): Robotics, AI, and Humanity. Cham: Springer International Publishing, S. 147–159.
Riebe, Thea/Reuter, Christian (2019): Dual-Use and Dilemmas for Cybersecurity, Peace and Technology Assessment. In: Reuter, Christian (Hrsg.): Information Technology for Peace and Security. Wiesbaden: Springer Nature, S. 165–183.
Riebe, Thea (2023): Technology Assessment of Dual-Use ICTs. How to Assess Diffusion, Governance and Design. Wiesbaden: Springer.
Seh, Adil Hussain/Zarour, Mohammad/Alenezi, Mamdouh/Sarkar, Amal Krishna/Agrawal, Alka/Kumar, Rajeev/Khan, Raees Ahmad (2020): Healthcare Data Breaches: Insights and Implications. In: Healthcare 8 (2). DOI: 10.3390/healthcare8020133.
Soice, Emily/Rocha, Rafael/Cordova, Kimberlee/Specter, Michael/Esvelt, Kevin (2023): Can large language models democratize access to dual-use biotechnology? [online] http://arxiv.org/pdf/2306.03809.pdf [29.08.2024].
Solaiman, Irene et al. (2019): Release Strategies and the Social Impacts of Language Models. [online] OpenAI Report November 2019. https://arxiv.org/abs/1908.09203 [29.08.2024].
Spitale, Giovanni/Biller-Andorno, Nikola/Germani, Federico (2023): AI model GPT-3 (dis)informs us better than humans. In: Science Advances 9 (26). DOI: 10.1126/sciadv.adh1850.
Tucker, Jonathan (Hrsg.). (2012): Innovation, Dual Use, Security: Managing the Risks of Emerging Biological and Chemical Technologies. Cambridge, Massachusetts: The MIT Press.
Urbina, Fabio/Lentzos, Fillipa/Invernizzi, Cédric/Ekins, Sean (2022): Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, S. 189–191. DOI: 10.1038/s42256-022-00465-9.
Westerlund, Mika (2019): The Emergence of Deepfake Technology: A Review. In: Technology Innovation Management Review 9 (11), S. 39–52.
Weydner-Volkmann, Sebastian/Cassing, Kaya (2023): Forschende in der Angriffsrolle. Zum besonderen forschungsethischen Bedarf in der IT-Sicherheit. In: ZfPP 10 (1), S. 79–104. DOI: 10.22613/zfpp/10.1.3. ZEVEDI (2023). Research Ethics for AI Research Projects. Guidelines to Support the Work of Ethics Committees at Universities. [online] https://zevedi.de/wp-content/uploads/2023/02/ZEVED_AI-Research-Ethics_web_2023.pdf [29.08.2024].
Zitiervorschlag
Brenneis, Andreas (2024): Generative KI und Dual-Use: Risikobereiche und Beispiele. In: Verantwortungsblog. https://zevedi.de/generative-ki-und-dual-use-risikobereiche-und-beispiele/ [07.11.2024]. https://doi.org/10.60805/by6z-fb49
Ihre Privatsphäre liegt uns am Herzen – deshalb setzen wir auf volle Transparenz.
Auf unserer Webseite nutzen wir ausschließlich Matomo, ein datenschutzfreundliches Analysetool, um zu verstehen, wie unsere Seite genutzt wird. Dabei werden Ihre Daten weder für kommerzielle Zwecke verwendet noch weitergegeben und bleiben ausschließlich auf unseren Servern.
Danke, dass Sie uns mit Ihrer Einwilligung helfen!
Funktional
Immer aktiv
Die technische Speicherung oder der Zugang ist unbedingt erforderlich für den rechtmäßigen Zweck, die Nutzung eines bestimmten Dienstes zu ermöglichen, der vom Teilnehmer oder Nutzer ausdrücklich gewünscht wird, oder für den alleinigen Zweck, die Übertragung einer Nachricht über ein elektronisches Kommunikationsnetz durchzuführen.
Vorlieben
Die technische Speicherung oder der Zugriff ist für den rechtmäßigen Zweck der Speicherung von Präferenzen erforderlich, die nicht vom Abonnenten oder Benutzer angefordert wurden.
Statistiken
Die technische Speicherung oder der Zugriff, der ausschließlich zu statistischen Zwecken erfolgt.Die technische Speicherung oder der Zugriff, der ausschließlich zu anonymen statistischen Zwecken verwendet wird. Ohne eine Vorladung, die freiwillige Zustimmung deines Internetdienstanbieters oder zusätzliche Aufzeichnungen von Dritten können die zu diesem Zweck gespeicherten oder abgerufenen Informationen allein in der Regel nicht dazu verwendet werden, dich zu identifizieren.
Marketing
Die technische Speicherung oder der Zugriff ist erforderlich, um Nutzerprofile zu erstellen, um Werbung zu versenden oder um den Nutzer auf einer Website oder über mehrere Websites hinweg zu ähnlichen Marketingzwecken zu verfolgen.
