Generative KI und Dual-Use: Risikobereiche und Beispiele

Die Fähigkeiten generativer KI beeindrucken – und beunruhigen, denn KI ist eine Dual-Use-Technologie. KI-Systeme können sowohl für zivile als auch für militärische Zwecke, sowohl in vorteilhafter als auch schädlicher Absicht eingesetzt werden. Technologien wie Maschinelles Lernen und Generative KI verändern dadurch die Landschaft der Sicherheitsrisiken tiefgreifend – für Bürger, Organisationen, Gesellschaften und Staaten. Doch welche Risikobereiche sind konkret betroffen? Und wie kann man gegensteuern?

Von Andreas Brenneis | 07.11.2024

Die rasanten Entwicklungen im Forschungsfeld der Künstlichen Intelligenz (KI) bringen technologische Fortschritte wie auch gesellschaftliche Implikationen mit sich und machen multiperspektivische Diskussionen unter Berücksichtigung diverser normativer Rahmenwerke notwendig. „KI“ ist als Begriff zunächst weit und abstrakt und umfasst unterschiedliche Technologien und Anwendungen, sodass es nicht verwundert, dass sie eine Fülle von Bewertungsfragen aufwirft, wobei diverse Normenordnungen berührt sind: rechtliche Regeln, ethische Prinzipien, moralische Normen, soziale Standards, kulturelle Werte, religiöse Gesetze, politische Ideale und ethische Überlegungen (vgl. auch Kettemann 2020).

KI-Systeme und insbesondere Generative KI werden zudem sehr verschiedenen Nutzungsgruppen zugänglich. Dadurch erlangen Fragen des Dual-Use ebenfalls größere Bedeutung. Die Perspektive des Dual-Use umfasst mehrere Normordnungen und wirft im Kern Dilemmata hinsichtlich der Forschung und Entwicklung von Wissen, Technologien und Werkzeugen auf, die für böswillige Zwecke missbraucht werden könnten, die also neben einem ersten erwünschten oder gebilligten Einsatzbereich auch noch einem zweiten, unerwünschten Zweck dienen können (Tucker 2012, Riebe 2023). In den folgenden Abschnitten werde ich die spezifische Herausforderung des Dual-Use hinsichtlich der Entwicklung von Generativer KI erörtern. Ich gehe daher also nicht auf allgemeine Bedenken hinsichtlich Künstlicher Allgemeiner Intelligenz (zu Artificial General Intelligence, kurz AGI, vgl. McLean et al. 2023), den in maschinellen Lernansätzen inhärenten Verzerrungen (zu Biases vgl. Ntoutsi et al. 2020) oder betrieblicher Probleme in praktischen KI-Einsatzkontexten (Raji et al. 2022) ein.

Wie vielfach diskutiert, birgt KI-Technologie Potenzial sowohl für die Förderung als auch für die Untergrabung menschlichen Wohlergehens – abhängig von ihrer Nutzung, also ihrem kontextspezifischen Ge- oder Missbrauch (Brenneis 2024, Ambrus 2020). Die rasante Entwicklung und kontinuierliche Verfeinerung von Maschinellem Lernen, Generativer KI und von großen Sprachmodellen verdeutlicht die Möglichkeiten, sie für komplexe kreative Unternehmungen nutzen und positive Entwicklungen in verschiedenen Bereichen wie der Verbesserung von Arbeitsabläufen und der Datenanalyse erzielen zu können. Als Teilgebiete der KI nutzen die Natürliche Sprachverarbeitung (Natural Language Processing, kurz NLP) und die Generative KI Techniken des Deep Learning sowie umfangreiche Datensätze, um neuronale Netzwerke zu trainieren und es ihnen zu ermöglichen, verschiedene Formen kultureller Schöpfungen und Artefakte anhand von statistischen Mustern zu verstehen und zu generieren. Während dies erhebliche Chancen für Unternehmen und die Öffentlichkeit bietet, birgt es auch Risiken: Der Missbrauch von KI durch Kriminelle und andere Akteure mit bösartigen Absichten kann das individuelle Wohlergehen gefährden und grundlegende Rechte sowie den sozialen Zusammenhalt untergraben. Generative KI-Systeme sind in der Lage, neue Inhalte wie Texte, Bilder, verschiedene andere Medienformen oder Code zu erzeugen und machen Dual-Use-Überlegungen in Bezug auf KI äußerst komplex (Grinbaum & Adomaitis 2024, Kaffee et al. 2023, Solaiman et al. 2019).

Dual-Use-Dilemmata liegen dann vor, wenn unsicher ist, ob und wie potenzielle negative Folgen des Missbrauchs von Technologie oder Forschungsergebnissen zu verhindern sind, ohne zugleich die prospektiven Vorteile von Forschung und Technik aufzugeben. Diese Dilemmata werfen schwierige Fragen zum Gleichgewicht zwischen den Risiken und Nutzen im Zusammenhang mit der Entwicklung, Verbreitung und Regulierung potenziell gefährlicher Technologien oder Forschungsergebnisse auf. Dual-Use-Bedenken gewannen während des Kalten Krieges an Bedeutung, als Technologien, die ursprünglich für militärische Zwecke entwickelt wurden, wie etwa Kernenergie und biologische Wirk- und Kampfstoffe, ethische Fragen hinsichtlich ihrer potenziellen zivilen Anwendungen aufwarfen. Zugleich verstärkten sich Befürchtungen, dass Entwicklungen mit Dual-Use-Potenzial nicht nur für friedliche, sondern auch für schädliche Zwecke ausgenutzt werden könnten, bis hin zum Einsatz als Massenvernichtungswaffen. Als Antwort entstanden erste Rahmenwerke zur Regulierung und Kontrolle solcher Technologien (Forge 2010, Tucker 2012, Oltmann 2015).

In den Bereichen Informatik und Informationstechnologie liegt die Herausforderung im Zusammenhang mit Dual-Use darin, dass das jeweilige Risiko vom Stand und Prozess der Forschung und Entwicklung der betreffenden Arbeit abhängt, während die Technologie selbst inhärent ambivalent bleibt. Software zeichnet sich durch ihre vielseitige Einsatz- und Anpassungsfähigkeit in sowohl allgemein akzeptierten als auch in schädlichen Kontexten aus und unterscheidet sich dadurch erheblich von den unmittelbar schädlichen Auswirkungen chemischer, biologischer und nuklearer Waffen (Riebe & Reuter 2019). Daher müssen Bewertungen des Dual-Use-Risikos im IT-Bereich auf Fallstudien basieren und die spezifische Verflechtung von genau umrissenen Kontexten und KI-Technologien analysieren. Bis vor wenigen Jahren hat sich die Dual-Use-Debatte in der Informatik hauptsächlich auf Kryptografie (Vella 2017) und die Verbreitung von Spionagesoftware konzentriert – begleitet von ersten Ansätzen in der IT-Sicherheitsforschung (Weydner-Volkmann & Cassing 2023). Die IT-Sicherheitsforschung gewinnt rapide an Bedeutung, da Angriffe auf IT-Systeme erhebliche Auswirkungen auf Einzelpersonen, Unternehmen, Institutionen, Behörden und sogar ganze Gesellschaften haben können (z. B. wenn sie auf kritische Infrastrukturen abzielen). Angesichts der tiefen Integration von IT-Systemen in den Alltag von immer mehr Menschen wird die Sicherheit dieser Systeme zu einer gesellschaftlichen Aufgabe. Digitale Angriffe auf IT-Systeme sind global, anonym und zunehmend – auch durch KI – mit geringem Aufwand durchzuführen.

IT-Sicherheit ist insofern eine Art Querschnittsaufgabe, die verschiedene Aspekte des Dual-Use-Problems in Bezug auf KI betrifft. Aber Technologien wie Maschinelles Lernen und Generative KI verändern die Landschaft der Sicherheitsrisiken für Bürger, Organisationen, Gesellschaften und Staaten in noch deutlich umfassenderer Weise (Brundage et al. 2018, da Empoli & Della Porta 2023). Zu analytischen Zwecken lassen sich drei Bereiche unterscheiden, die in der Praxis jedoch eng miteinander verknüpft sind: Der böswillige Einsatz von KI kann nicht nur die digitale Sicherheit gefährden (z. B. wenn Kriminelle Algorithmen trainieren, um ihre Opfer zu hacken oder zu manipulieren), sondern auch die physische (z. B. wenn nichtstaatliche Akteure Konsumdrohnen bewaffnen) und sogar die politische (z. B. durch Überwachung, Profiling, Eingriffe in die Privatsphäre oder durch automatisierte und zielgerichtete Desinformationskampagnen). Um die Dual-Use-Problematik von Generativer KI zu erörtern, werden zunächst spezifische Merkmale von KI-Systemen vorgestellt, die zu deren Dual-Use-Potentialität beitragen. Im folgenden Abschnitt werden dann Dual-Use-Risikobereiche und zugehörige Beispiele besprochen.

1. Welche Merkmale von KI-Systemen sind für
potenzielle Dual-Use-Konflikte relevant?

KI ist also eine Dual-Use-Technologie. KI-Systeme und das Wissen über ihre Entwicklung können sowohl für zivile als auch für militärische Zwecke genutzt werden und sowohl zu vorteilhaften als auch zu schädlichen Zwecken führen (zur Vielfalt an Dual-Use-Definitionen vgl. Rath et al. 2014). Und entsprechende Forschung kann nicht einfach vermeiden, Forschungsprogramme und Systeme zu entwickeln, die schädlichen Zwecken dienen könnten. Viele Aufgaben, bei denen eine Automatisierung durch KI sinnvoll ist, stehen selbst guten und schlechten Zwecken offen: Zum Beispiel haben Systeme, die Software auf Schwachstellen überprüfen, sowohl offensive als auch defensive Anwendungen, und der Unterschied zwischen den Fähigkeiten einer autonomen Drohne, die Pakete liefert, und einer, die Sprengstoff abwirft, kann technisch unerheblich sein. Darüber hinaus ist schon Grundlagenforschung zu den generellen Möglichkeiten von KI und zur Verbesserung ihrer Fähigkeiten und zu Möglichkeiten der menschlichen Kontrolle über sie inhärent von Dual-Use-Problemen betroffen.

In Bezug auf Dual-Use-Probleme teilt der Sektor der KI-Forschung drei wesentliche Aufgaben mit anderen Bereichen, die unter die Kennzeichnung als „Dual Use Research of Concern“ bzw. DURC fallen (Grinbaum & Adomaitis 2024, Riebe 2023). Diese Aufgaben umfassen die Überwachung laufender Entwicklungen, die Einrichtung von Governance- oder Kontrollmechanismen für die zugehörige Forschung und die Bereitstellung von Richtlinien für die Entwicklung und den Umgang mit KI-Anwendungen, die als Dual-Use eingestuft werden. Vier Merkmale tragen zu Dual Use Eigenschaften von KI-Systemen bei: qualitative Vorteile, quantitative Anwendbarkeit, leichte Verbreitung und inhärente Schwachstellen.

(1) KI-Systeme können menschliche Fähigkeiten übertreffen, insbesondere in engen, wohldefinierten Aufgabenbereichen. Beispiele sind Spiele (Schach, Go), diagnostische Bildauswertung (Gewebeveränderungen) und selbst frühe Formen generativer KI können Desinformation produzieren, die größere Wirkung hat als menschlich erzeugte Inhalte (Spitale et al. 2023).

(2) Wie andere erfolgreiche Technologien zeichnen sich KI-Systeme durch Effizienz und Skalierbarkeit aus. Ein KI-System kann menschliche Leistungen hinsichtlich Geschwindigkeit oder Kosten übertreffen, (bislang) meist nach einem vorgängigen spezifischen Training. So arbeiten generative KI-Tools bei der Erstellung von Ausschreibungen, Zusammenfassungen oder sogar wissenschaftlichen Artikeln enorme Textmengen durch. Skalierbarkeit meint zusätzlich  die Fähigkeit eines Systems, schnell auch mehrere Instanzen einer Aufgabe zu bewältigen. Beispielsweise zeigt ein Gesichtserkennungssystem, das zur Überwachung verwendet wird, im Vergleich zu menschlichen Analysten sowohl hohe Effizienz als auch Skalierbarkeit, wenn es kostengünstige Analysen über millionenfache Kamerafeeds bietet.

(3) Die Möglichkeit der schnellen Verbreitung von KI-Systemen ist ein weiterer entscheidender Aspekt. Wenn Quellcode in der KI-Forschungscommunity verfügbar ist, können neue Algorithmen vergleichsweise schnell repliziert werden. Diese Softwareportabilität ermöglicht die einfache Verbreitung und Weitergabe von KI-Systemen oder zumindest relevantem Wissen auf digitalen Kanälen. Dieses Merkmal ist besonders relevant in Diskussionen über regulatorische Herausforderungen (wie Exportkontrollen) und betont die Sorgen um die Kontrolle und Überwachung der Softwareverbreitung über nationale Grenzen hinweg, insbesondere im Kontext von Dual-Use-Technologien oder Cybersicherheit (Riebe 2023).

(4) Zeitgenössische KI-Systeme sind mit ungelösten Schwachstellen konfrontiert, darunter sogenannter Data-Poisoning-Angriffe, die Fehler verursachen, täuschende Beispiele (adversarial examples), die das System korrumpieren, indem sie Fehlklassifikationen hervorrufen, und die Ausnutzung von Designfehlern in den Zielen autonomer Systeme (BSI 2023). Prompt Engineering, das einerseits entscheidend für die Optimierung von KI ist, kann missbraucht werden, um Formen der Inhaltsmoderation zu umgehen, wie das Beispiel des „DAN“-Jailbreak-Prompts zeigt („DAN“ steht als Akronym für „Do Anything Now“). Trotz der Reaktion von OpenAI auf dieses Problem bereiten neuere Versionen von DAN den Sicherheitsmechanismen des Modells nach wie vor Probleme (Europol 2023). Solche Schwachstellen werden im weiteren Verlauf der Diskussion über Risikoaspekte im Zusammenhang mit generativer KI näher beleuchtet.

Diese vier genannten Aspekte tragen einzeln, aber vor allem zusammen zu den Herausforderungen bei, die mit dem Dual-Use-Potenzial bestimmter KI-Technologien verbunden sind.

2. Dual Use-Risikobereiche im Zusammenhang mit KI

Zu diskutieren sind mehrere – unter dem Dual-Use Gesichtspunkt – ambivalente oder potenziell negative Anwendungsszenarien, ich nenne sie „Risikobereiche“. Sie erstrecken sich in unterschiedlichem Maße über die drei eingangs vorgestellten sicherheitskritischen Bereiche: digitale, physische und politische Sicherheit, der Bedarf an kritischen Dual-Use-Einschätzungen steigt dabei zunehmend.

2.1 Zielsetzungen für KI und Wertediffusion

Da es nicht trivial ist, Algorithmen so zu gestalten, dass sie im Einklang mit menschlichen Werten oder überhaupt nur mit den Zielen der Programmierung arbeiten, besteht das Risiko einer unbeabsichtigten Differenz zwischen den Ergebnissen der KI und den menschlichen Absichten (Christian 2020). Darüber hinaus können KI-Systeme auch explizit auf fragwürdige Ziele hin trainiert werden und dann Wege finden, diese auf Kosten des individuellen oder gesellschaftlichen Wohlergehens zu verfolgen. Empfehlungsalgorithmen z.B. werden häufig darauf trainiert, die Aufenthaltsdauer und die Klickrate zu maximieren. Entsprechende Inhalte tragen jedoch eher nicht zu einem besseren Wohlbefinden bei (Milano et al. 2021). Zudem können Empfehlungssysteme Menschen dazu bringen, extreme Überzeugungen zu entwickeln, um ihre Präferenzen leichter vorhersagen zu können, wodurch sie selbst besser funktionieren.

2.2 Kompetenz- und Kontrollverlust

Wo Verantwortung zunehmend an Maschinen übertragen wird, besteht die Gefahr, wesentliche Kompetenzen zu verlieren. Der fortschreitende Ersatz oder die Verdrängung menschlicher Intelligenz durch KI-Systeme, getrieben durch die Geschwindigkeit und Kosteneffizienz bei der Erledigung bestimmter Aufgaben, erhöht die Wahrscheinlichkeit eines Kompetenzverlusts sowohl auf individueller als auch auf gesellschaftlicher Ebene. Dieser Trend ist im Hinblick auf kognitive Fähigkeiten problematisch, einschließlich Fertigkeiten in Bereichen wie Forschung, Planung oder Bewertung. Aber auch soziale Interaktionsformen können durch generative KI starken Veränderungen unterworfen werden. Darüber hinaus könnten Unternehmen angesichts der raschen Veränderungen im makroökonomischen Umfeld freiwillig Teile ihrer Kontrolle an KI-Systeme abgeben, um wettbewerbsfähig zu bleiben. Und im militärischen Bereich gibt es eine grundlegende ethische Debatte darüber, welche Kompetenzen und Entscheidungen im Falle von Kriegshandlungen an Maschinen delegiert werden dürfen (Reichberg & Syse 2021, Lucas et al. 2023).

2.3 Anonymität und psychologische Distanz

Zahlreiche kognitive Aufgaben beinhalten die Interaktion und Kommunikation mit Menschen. Dazu gehören Aktivitäten wie Beobachten, Reagieren auf Handlungen, Entscheiden und das Verhandeln gemeinsamer Ziele. Die KI-gesteuerte Automatisierung solcher Aufgaben ermöglicht es Akteuren, anonym zu agieren und dabei eine erhebliche psychologische Distanz zu denjenigen zu wahren, die sie beeinflussen. Zum Beispiel kann derjenige, der ein autonomes Waffensystem für einen Angriff einsetzt, die physische Präsenz am Tatort und den direkten Kontakt mit dem Opfer vermeiden. Diese erhöhte Distanz zeigt sich auch bei Anwendungen wie Chatbots oder Assistenzsystemen im Pflegebereich und spielt insbesondere bei Aktivitäten, die im digitalen Bereich Schaden verursachen (z.B. Social Engineering, Malware, Ransomware) eine zentrale Rolle.

2.4 Datenschutz, Umwidmung und Entanonymisierung
von Daten

KI verstärkt nicht nur die Effizienz, sondern transformiert auch das Feld des Datenschutzes und bringt sowohl auf individueller wie auch auf struktureller Ebene Herausforderungen mit sich. Selbst altbackene Datenquellen wie Bezahlkarten für Mensa oder Cafeteria können durch gezielte Fragen nuancierte Informationen über die Gewohnheiten, Zugehörigkeiten und potenziellen Gesundheitsrisiken einer Person enthüllen. Heute gibt es umfangreichen Datensammlungen, die sich u.a. aus den Tools des Internet-of-Things (wie Überwachungskameras, Sprachassistenten und Smartphones), Datenpools (z.B. im Gesundheitswesen, Wohnungswesen, zur Kreditwürdigkeit oder zu Sozialleistungen) sowie aus den riesigen Mengen an Informationen, die von spezialisierten Unternehmen online gesammelt werden, speisen. Diese Daten erlauben umfassende Analysen und erhöhen den Bedarf an robusten Datenschutzmaßnahmen und Medienkompetenzen. Datenschutzprobleme werden mit den Fähigkeiten der KI augenfälliger, wie das Beispiel der chinesischen Stadt Suzhou zeigt, wo KI-gestützte Überwachung Menschen bloßstellte, die in der Öffentlichkeit Pyjamas trugen (Qin 2020). Neben der (potenziell immer totalitären) Überwachung haben Cyberangriffe das Potenzial, erhebliche persönliche Informationen abzugreifen. Besonders bemerkenswert ist der Einsatz eines Modells zur Dosierung von Medikamenten und demografischen Daten, bei dem Angreifer genomische Informationen über Patienten vorhersagen konnten (Fredrikson et al. 2014). Fälle von Identitätsdiebstahl haben dazu geführt, dass Behandlungen unter falschen Namen abgerechnet wurden, was erhebliche finanzielle Folgen nach sich zog (Seh 2020).

2.5 Desinformation und Social-Engineering

Von KI erzeugte Desinformationen, einschließlich überzeugend gestalteten Contents, können zu substantieller individueller und gesellschaftlicher Verwirrung und Zwietracht führen. Akteure wie Staaten, politische Parteien und andere Organisationen nutzen Technologien, um andere von ihren politischen Überzeugungen, Ideologien und Narrativen zu überzeugen. Im Kampf um Aufmerksamkeit könnte KI zu einer neuen Ära führen und personalisierte Kampagnen (einschließlich Desinformation) in bisher unbekanntem Maßstab ermöglichen. KI kann überzeugende, faktisch genaue Argumente formulieren, die intensive emotionale Reaktionen hervorrufen, aber sie öffnet auch Tür und Tor zur Erstellung von Fälschungen und Deepfakes. Generative KI birgt zwei wesentliche Bedrohungen im Hinblick auf das soziale Gefüge in der Online-Welt (Koplin 2023). Die erste Sorge bezieht sich auf den möglichen Missbrauch generativer KI zur Herstellung von „synthetischen“ Fake News, wodurch sich ein ansonsten ressourcenintensiver Prozess automatisieren lässt, der sonst von Menschen durchgeführt wird. Diese Automatisierung ermöglicht es mühelos irreführende Artikel und Posts zu erstellen, um bestimmte Perspektiven zu unterstützen, politische Regime zu diskreditieren oder Produkte, Einzelpersonen oder Unternehmen zu (dis-)liken – je nach Ziel oder Auftrag. Eine zweite Bedrohung betrifft die potenzielle Nutzung der Technologie für Astroturfing und verwandte Aktivitäten, die die Erstellung kohärenter, diversifizierter und v.a. menschlich wirkender Content-Versatzstücke zu beliebigen Themen automatisiert. So lassen sich z.B. soziale Medien mit Posts überfluten, die eine politische Haltung fördern (eben das „Astroturfing“), oder Plattformen mit Bewertungen für bestimmte Produkte überschwemmen (seien es Nagellack oder Aktien). Generative KI kann somit zur Schaffung falscher Eindrücke beitragen und übermäßigen „Lärm“ (noise) erzeugen, der echte Kommentare und sinnvolle Dialoge behindert. Eng mit der Bedrohung durch Online-Lärm verbunden ist die Überflutung mit minderwertigen Inhalten, die sich über verschiedene Bereiche von Clickbait bis hin zu wissenschaftlichen Publikationen erstreckt. Während diese Bedrohungen nicht völlig neu sind, bringt die generative KI eine beispiellose Kapazität mit sich, böswillige oder irreführende Inhalte in großem Maßstab mühelos zu erzeugen und damit bestehende Herausforderungen im Zeitalter der sozialen Medien zu verstärken (Koplin 2023). Diese Risiken werden oft diskutiert, weil sie das Potenzial haben, etablierte Gewohnheiten zu untergraben – von epistemischen Standards bis hin zu sozialer Harmonie. Sie können aber auch zur Destabilisierung demokratischer Systeme beitragen und Teil krimineller Aktivitäten (King et al. 2020, Europol 2023) oder kognitiver Kriegsführung (Miller 2023) sein.

2.6 Kriminalität

Generative KI erweist sich in verschiedenen kriminellen Unternehmungen als äußerst zielführend (King et al. 2020). Wie im letzten Abschnitt erwähnt, setzen kriminelle Akteure auf Social-Engineering-Techniken, die menschliche Neigungen wie Neugier und Angst ausnutzen, um die Preisgabe von sensiblen Informationen oder die Installation von Malware zu erwirken. Mit den fortschreitenden Fähigkeiten von Computerprogrammen in sozialer Interaktion, wie Chatbots, haben sich solche Social-Engineering-Prozesse weiterentwickelt. KI-Systeme tragen dazu bei, indem sie Prozessschritte automatisieren und relevante Informationen online extrahieren, um individuell zugeschnittene betrügerische Websites, Social-Media-Profile, Links oder E-Mails für Spear-Phishing-Angriffe zu erstellen (BSI 2023). Generative KI-Tools zeichnen sich durch die Erstellung hochgradig realistischer Imitationen aus, die die Effektivität von Phishing-Maschen intensivieren – von betrügerischen Investitionsversprechungen bis hin zu CEO-Fraud. Dabei tragen die kontextuell variablen Antworten und adaptiven Schreibstile dieser Tools zur Erfolgsquote sozialer Kriminalität bei. Folglich beschleunigt generative KI die Entwicklung von Phishing- und Online-Betrugsaktivitäten – besonders durch scheinbare Authentizität und die Skalierbarkeit einzelner Prozessschritte (Europol 2023).

Werkzeuge generativer KI können (angehende) Kriminelle bei ihren Überlegungen und Erkundungen unterstützen, wenn sie relevante Informationen aufbereiten und z.B. Schritt-für-Schritt-Anleitungen zur Verfügung stellen. Insbesondere konversationelle KI-Tools werden so zu einem wertvollen Werkzeug, um ohne vorheriges Wissen Einblicke in verschiedene potenzielle Kriminalitätsbereiche zu gewinnen, von Wohnungseinbrüchen bis hin zu Terrorismus, Cyberkriminalität oder sexuellem Missbrauch.

Werkzeuge wie ChatGPT oder Claude generieren nicht nur menschlich wirkende Spracherzeugnisse, sondern auch Code in verschiedenen Programmiersprachen, was sie zu einem wertvollen Instrument für kriminelle Akteure mit begrenzten Programmierkenntnissen macht (Europol 2023). Schutzmaßnahmen gegen bösartigen Code können umgangen werden, indem man Eingabeaufforderungen umformuliert. Ben-Moshe et al. (2023) beschreiben, wie sich mit ChatGPT ein Virusangriff planen und durchführen lässt und dass entsprechende Akteure die Software quasi mit ihrem Erscheinen in der Öffentlichkeit auch für diese Zwecke genutzt haben.

Im Bereich IT-Sicherheit können böse Programme KI nutzen, um automatisch Schwachstellen in IT-Systemen zu identifizieren und auszunutzen, wobei die Entdeckung neuer Schwachstellen durch die Kenntnis bekannter Muster von Code-Schwachstellen beschleunigt wird (BSI 2023). Dies umfasst KI-unterstütztes Fuzzing, eine Technik, bei der zufällige Eingaben verwendet werden, um Software auf Fehler und Sicherheitsprobleme zu testen. Für Angriffe kann das Zeitfenster zwischen der Meldung einer Schwachstelle und ihrer Schließung genutzt werden, indem lernende Systeme gemeldete Schwachstellen mithilfe öffentlich verfügbarer CVE-Nummern (Common Vulnerabilities and Exposures) automatisch identifizieren und angreifen. Diese automatisierte Analyse und Prüfung kann entscheidend für Angreifer sein, die Websites oder Geräte kompromittieren wollen. Angreifer können auch KI nutzen, um Malware basierend auf Erkenntnissen zu optimieren, die durch die Beobachtung der Reaktionen von Sicherheitssystemen während Angriffen gewonnen wurden. Indem sie Modelle gegen frei verfügbare Sicherheitstechnologien trainieren, können Angreifer legitimen Datentransfer simulieren, um böswillige Aktivitäten zu verschleiern. Zum Beispiel kann das Nachahmen menschlichen Verhaltens bei Distributed-Denial-of-Service-Angriffen (DDoS) es Sicherheitssystemen erschweren, Angriffe zu erkennen oder rechtzeitig zu reagieren. Obwohl diese Formen des KI-Missbrauchs mehr von maschinellem Lernen und Automatisierung als von generativer KI abhängen, stellen sie erhebliche Risiken dar, da sie Angriffe verstärken und die Erkennung umgehen oder zumindest erschweren können.

Eng verbunden mit der KI-gestützten Erkennung und Ausnutzung von Schwachstellen sind Authentifizierungsrisiken und Manipulationsbedrohungen (BSI 2023). Die Manipulationsfähigkeiten von generativer KI stellen eine Herausforderung für bild- und sprachbasierte Authentifizierungen in sicherheitskritischen Bereichen dar, wie beispielsweise bei der biometrischen Identifikation für Smartphones, Banking-Apps und bei Sicherheitskontrollen. Schwachstellen werden durch Angriffe mit 3D-gedruckten Masken, Morphing oder Deepfakes attackiert und bestehen trotz der hoch entwickelten Effektivität von KI-Modellen im Feld der biometrischen Identifikation. Anfälligkeiten bestehen sowohl während des anfänglichen Trainings als auch im Live-Betrieb und betreffen verschiedene Anwendungsfälle von KI-Modellen (Berghoff et al. 2021). Szenarien der Datenvergiftung (Data Poisoning) umfassen die absichtliche Manipulation von Trainingsdaten für maschinelles Lernen oder große Sprachmodelle, um Verzerrungen oder ausnutzbare Hintertüren einzuführen. Adversariale Angriffe manipulieren Live-Eingabedaten, um unbeabsichtigte Ausgaben von KI-Modellen hervorzurufen. Morphing-Angriffe täuschen Gesichtserkennungssysteme, indem sie Datensätze verschmelzen (z.B. biometrische Passfotos). Deepfake-Manipulationen, hochwertige Veränderungen von Gesichtern und Stimmen in Videos und Audio erlauben verschiedene kriminelle Aktivitäten wie das Überwinden von Fernidentifikationssystemen, Verleumdung oder Betrug (z.B. „CEO-Fraud“) und unterstreichen die Notwendigkeit der Wachsamkeit gegenüber der Manipulation (medialer) Identitäten in verschiedenen Kontexten (Brewster 2021, Westerlund 2019).

2.7 Krieg und Waffen

Ein vieldiskutierter Sektor im Bereich sich entwickelnder KI-Fähigkeiten sind die Möglichkeiten und die ethischen Implikationen von tödlichen autonomen Waffen (Lethal Autonomous Weapons, LAWS) für den Einsatz in Kriegsszenarien (Horowitz 2021). Während der Fortschritt von KI-Systemen für automatisierte Cyberangriffe größtenteils vertraulich bleibt und nicht öffentlich zugänglich ist (Buchanan et al. 2020), ist davon auszugehen, dass KI-gestützte Waffensysteme und weitere militärische Anwendungen einen erheblichen Einfluss auf das internationale Kräfteverhältnis ausüben werden (Carozza et al. 2022).

Wie im Bereich der Kriminalität gehen mit dem Erstarken von maschinellem Lernen und generativer KI neue Risiken einher, insofern KI Akteure zu theoretischem und praktischem Wissen befähigen kann, die zuvor keinen Zugang zu Waffen mit Massenvernichtungspotenzial hatten. Drei illustrative Fälle verdeutlichen diese Problematik: Das MegaSyn-Modell wurde ursprünglich für die Medikamentenentwicklung konzipiert und stellt eine potenzielle Bedrohung dar, da es leicht umprogrammiert werden kann, um schädliche Moleküle zu entdecken. Durch die Veränderung weniger Parameter im Algorithmus kann so die Entwicklung von biochemischen Waffen vorangetrieben werden (Urbina et al. 2022). Anwendungen wie GPT-4 verfügen über die Fähigkeit, autonom Experimente durchzuführen und Chemikalien in einem realen Labor zu synthetisieren. Sie können dabei ihren Code anpassen, um eigenständig Protokolle auszuführen (Boiko et al. 2023). Ein Beispiel für die einfache Zugänglichkeit solcher Informationen haben Studierende am MIT aufgezeigt, die zuvor keine Kenntnisse über Dual-Use-Biotechnologie hatten: Sie demonstrierten, wie leicht sich verfügbare Daten über Viren mit pandemischem Potential, Bezugsquellen für Ausgangsmaterialien und Labore mit laxen Sicherheitskontrollen für die Synthese schädlicher Substanzen in Erfahrung bringen lassen (Soice et al. 2023).

3. Was folgt?

Während die dargestellten Risiko- und Anwendungsbereiche keinen umfassenden Überblick über alle potenziellen Dual-Use-Probleme bieten, die zu berücksichtigen sind, geben sie doch Aufschluss über die Bandbreite der Möglichkeiten. In Bezug auf die diskutierten Risikoaspekte, die digitale, physische und soziale oder politische Bedrohungen durch KI umfassen, lassen sich über eine Taxonomie verschiedene Szenarien für den Missbrauch von KI-Technologie und KI-Forschungsergebnissen aufzeigen. Zusätzlich lassen sich drei Arten von Folgen von Missbräuchen feststellen: Erstens gibt es die Erweiterung bestehender Angriffsstrategien, wie etwa die Automatisierung von Forschung durch Kriminelle für personalisierte Spear-Phishing-Angriffe oder die Ausnutzung anfälliger IT-Systeme auf Basis von CVE-Nummern. Zweitens entstehen mit der Entwicklung von KI neue Bedrohungen, darunter gezielte Angriffe auf Schwachstellen von KI-Systemen, autonome Waffen, eine Erleichterung des Zugangs zu potenziell gefährlichen Informationen durch generative KI oder die vereinfachte Umsetzung böser Absichten wie bei der Entdeckung tödlicher Moleküle durch maschinelles Lernen. Drittens können Angriffe ihren Charakter ändern und KI-Fähigkeiten zur effektiven und effizienten Skalierung nutzen. Beispiele hierfür sind umfassendes Social Engineering, kognitive Kriegsführung, Identitätsdiebstahl in den Sektoren Medizin oder Finanzen und generell Ansätze zur De-Anonymisierung.

Was folgt aus der geschilderten Lage? Für eine konsequentere Berücksichtigung von Dual-Use-Überlegungen in KI-Projekten scheint es mir entscheidend, Einzelfälle innerhalb einer Taxonomie zu identifizieren und zu bewerten (Brenneis 2024, Grinbaum & Adomaitis 2024, BSI 2023, EUROPOL 2023, Brundage et al. 2018). Während die Bedrohungen durch generative KI und maschinelles Lernen möglicherweise nicht so offensichtlich oder unmittelbar katastrophal sind wie diejenigen, die mit chemischen, biologischen, radiologischen oder nuklearen Gefahrstoffen verbunden sind, sollten sie nicht unterschätzt werden. Große Sprachmodelle, die prima facie keine großflächige physische Zerstörung und keinen unmittelbaren Schaden verursachen, können dennoch erhebliche Auswirkungen haben (Koplin 2023, Hansel & Silomon 2023). Diese Bedrohungen können sich auf weniger offensichtliche, indirekte oder graduelle Weise manifestieren, was die Erkennung und Vorhersage im Vergleich zu traditionellen Formen der Dual-Use-Betrachtungen und des Dual-Use-Research-of-Concern erschwert. Daher ist es unerlässlich, die potenziellen Risiken und Implikationen der KI-Forschung und -Entwicklung zu erkennen, zu systematisieren und anzugehen. Diese Verantwortung liegt bei der wissenschaftlichen Gemeinschaft und sollte Institutionen wie Forschungsethik-Kommissionen, wissenschaftliche Gesellschaften und Forschungsförderer einbeziehen (Brenneis et al. 2024, ZEVEDI 2023). Mit dem Fortschritt der KI-Fähigkeiten müssen die Diskussionen über Dual-Use-Research-of-Concern erweitert werden, um Szenarien des Missbrauchs durch KI-Forschung einzuschließen und eine effektive Überwachung und Governance für entsprechende Forschung und Entwicklung zu ermöglichen. ■

Literatur

Ambrus, Èva (2020): Artificial Intelligence as Dual-use Technology. AARMS 19(2), S. 19–28.

Ben-Moshe Sharon/Gekker, Gil/Cohen, Golan (2022): OpwnAI: AI that can save the day or hack it away. [online] Check Point, 19.12.2022. https://research.checkpoint.com/2022/opwnai-ai-that-can-save-the-day-or-hack-it-away/ [29.08.2024].

Berghoff, Christian/Neu, Matthias/von Twickel, Arndt (2021): The Interplay of AI and Biometrics: Challenges and Opportunities. In: Computer 54 (9), S. 80–85. DOI: 10.1109/MC.2021.3084656.

Boiko, Daniil/ Gomes, Gabe/MacKnight, Robert (2023): Emergent autonomous scientific research capabilities of large language models. [online] https://arxiv.org/abs/2304.05332 [29.08.2024].

Brenneis, Andreas (2024): Assessing dual use risks in AI research: necessity, challenges and mitigation strategies. In: Research Ethics. DOI: 10.1177/17470161241267782.

Brenneis, Andreas/Gehring, Petra/Lamadé, Annegret (2024): Zwischen fachlichen Standards und wilder Innovation: Zur Begutachtung von Big Data- und KI-Projekten in Forschungs-Ethikkommissionen. In: Ethik in der Medizin. DOI: 10.1007/s00481-024-00811-y.

Brewster, Thomas (2021): Fraudsters Cloned Company Director’s Voice In $35 Million Heist, Police Find. [online] Forbes, 14.10.2021. https://www.forbes.com/sites/thomasbrewster/2021/10/14/huge-bank-fraud-uses-deep-fake-voice-tech-to-steal-millions/ [29.08.2024].

Brundage, Miles et al. (2018): The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. [online] https://arxiv.org/abs/1802.07228 [29.08.2024].

BSI (2023): AI security concerns in a nutshell – Practical AI-Security guide. [online] https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Practical_Al-Security_Guide_2023.html [29.08.2024].

Buchanan, Ben/Bansemer, John/Cary, Dakota/Lucas, Jack/Musser, Micah (2020): Automating Cyber Attacks: Hype and Reality. Center for Security and Emerging Technology, November 2020. DOI: 10.51593/2020CA002.

Christian, Brian (2020): The Alignment Problem. Machine Learning and Human Values. New York: W. W. Norton & Company.

Da Empoli, Stefano/Della Porta, Maria Rosaria (2023): The Impact of Generative AI. In: PromethEUs: Artificial Intelligence: Opportunities, Risks and Regulation. S. 33–47. [online] www.prometheusnetwork.eu/publications/prometheus-publication-artificial-intelligence-opportunities-risks-and-regulations/ [29.08.2024].

EUROPOL (2023): ChatGPT – The impact of Large Language Models on Law Enforcement. [online] https://www.europol.europa.eu/publications-events/publications/chatgpt-impact-of-large-language-models-law-enforcement#downloads [29.08.2024].

Forge, John (2010): A note on the definition of “dual use”. Science and Engineering Ethics, 16 (1), S. 111–118. DOI: 10.1007/s11948-009-9159-9.

Fredrikson, Matthew/Lantz, Eric/Jha, Somesh/Lin, Simon/ Page, David/ Ristenpart, Thomas (2014): Privacy in Pharmacogenetics: An End-to-End Case Study of Personalized Warfarin Dosing. Proc USENIX Secur Symp, S. 17–32. [online] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4827719/ [29.08.2024].

Grinbaum, Alexei/Adomaitis, Laurynas (2024): Dual use concerns of generative AI and large language models. In: Journal of Responsible Innovation 11(1). DOI: 10.1080/23299460.2024.2304381.

Hansel, Mischa/Silomon, Jantje (2023): On the Peace and Security Implications of Cybercrime. A Call for an Integrated Perspective. IFSH Institute for Peace Research and Security Policy: Research Report #12. DOI: 10.25592/ifsh-research-report-012.

Horowitz, Michael (2021): When speed kills: Lethal autonomous weapon systems, deterrence and stability. In: Sechser, T. (Hrsg.): Emerging Technologies and International Stability. London: Routledge, S. 144–168.

Kettemann, Matthias (Hrsg.) (2020): Navigating Normative Orders. Interdisciplinary Perspectives. Frankfurt: Campus.

King, Thomas/ Aggarwal, Nikita/Taddeo, Mariarosaria/Floridi, Luciano (2020): Artificial Intelligence Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions. In: Science and engineering ethics 26 (1), S. 89–120. DOI: 10.1007/s11948-018-00081-0.

Koplin, Julian (2023): Dual-use implications of AI text generation. In: Ethics Inf Technol 25 (2), S. 1–11. DOI: 10.1007/s10676-023-09703-z.

Lucas, George/Helkala, Kirsi Marjaana/Syse, Henrik/Barret, Edward (Hrsg.) (2023): Ethical Challenges in AI-enhanced Military Operations. Frontiers Media SA. DOI: 10.3389/978-2-8325-2896-9.

McLean, Scott/Read, Gemma/Thompson, Jason/Baber, Chris/Stanton, Neville/Salmon, Paul (2023): The risks associated with Artificial General Intelligence: A systematic review. In: Journal of Experimental & Theoretical Artificial Intelligence 35 (5), S. 649–663. DOI: 10.1080/0952813X.2021.1964003.

Milano, Silvia/Taddeo, Mariarosaria/Floridi, Luciano (2021): Ethical aspects of multi-stakeholder recommendation systems. In: The information society 37 (1): S. 35–45.

Miller, Seumas (2023): Cognitive warfare: an ethical analysis. In: Ethics Inf Technol 25 (3). DOI: 10.1007/s10676-023-09717-7.

Ntoutsi, Eirini et al. (2020): Bias in data‐driven artificial intelligence systems – An introductory survey. In: WIREs Data Min & Knowl 10 (3). DOI: 10.1002/widm.1356.

Oltmann, Shannon (2015). Dual use research: Investigation across multiple science disciplines. In: Science and Engineering Ethics, 21 (2), S. 327–341. DOI: 10.1007/s11948-014-9535-y.

Qin, Amy (2020): Chinese City Uses Facial Recognition to Shame Pajama Wearers. In: The New York Times, 21.01.2020. [online] https://www.nytimes.com/2020/01/21/business/china-pajamas-facial-recognition.html [29.08.2024].

Raji, Inioluwa Deborah/Kumar, Elizabeth/Horowitz, Aaron/Selbst, Andrew (2022): The Fallacy of AI Functionality. In: FAccT ‘22: 2022 ACM Conference on Fairness, Accountability, and Transparency. New York: ACM, S. 959–972.

Rath, Johannes/Ischi, Monique/Perkins, Dana (2014): Evolution of different dual-use concepts in international and national law and its implications on research ethics and governance. In: Science and Engineering Ethics 20(3), S. 769–790. DOI: 10.1007/s11948-014-9519-y.

Reichberg, Gregory/Syse, Hendrik (2021): Applying AI on the Battlefield: The Ethical Debates. In: von Braun, Joachim et al. (Hrsg.): Robotics, AI, and Humanity. Cham: Springer International Publishing, S. 147–159.

Riebe, Thea/Reuter, Christian (2019): Dual-Use and Dilemmas for Cybersecurity, Peace and Technology Assessment. In: Reuter, Christian (Hrsg.): Information Technology for Peace and Security. Wiesbaden: Springer Nature, S. 165–183.

Riebe, Thea (2023): Technology Assessment of Dual-Use ICTs. How to Assess Diffusion, Governance and Design. Wiesbaden: Springer.

Seh, Adil Hussain/Zarour, Mohammad/Alenezi, Mamdouh/Sarkar, Amal Krishna/Agrawal, Alka/Kumar, Rajeev/Khan, Raees Ahmad (2020): Healthcare Data Breaches: Insights and Implications. In: Healthcare 8 (2). DOI: 10.3390/healthcare8020133.

Soice, Emily/Rocha, Rafael/Cordova, Kimberlee/Specter, Michael/Esvelt, Kevin (2023): Can large language models democratize access to dual-use biotechnology? [online] http://arxiv.org/pdf/2306.03809.pdf [29.08.2024].

Solaiman, Irene et al. (2019): Release Strategies and the Social Impacts of Language Models. [online] OpenAI Report November 2019. https://arxiv.org/abs/1908.09203 [29.08.2024].

Spitale, Giovanni/Biller-Andorno, Nikola/Germani, Federico (2023): AI model GPT-3 (dis)informs us better than humans. In: Science Advances 9 (26). DOI: 10.1126/sciadv.adh1850.

Tucker, Jonathan (Hrsg.). (2012): Innovation, Dual Use, Security: Managing the Risks of Emerging Biological and Chemical Technologies. Cambridge, Massachusetts: The MIT Press.

Urbina, Fabio/Lentzos, Fillipa/Invernizzi, Cédric/Ekins, Sean (2022): Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, S. 189–191. DOI: 10.1038/s42256-022-00465-9.

Westerlund, Mika (2019): The Emergence of Deepfake Technology: A Review. In: Technology Innovation Management Review 9 (11), S. 39–52.

Weydner-Volkmann, Sebastian/Cassing, Kaya (2023): Forschende in der Angriffsrolle. Zum besonderen forschungsethischen Bedarf in der IT-Sicherheit. In: ZfPP 10 (1), S. 79–104. DOI: 10.22613/zfpp/10.1.3. ZEVEDI (2023). Research Ethics for AI Research Projects. Guidelines to Support the Work of Ethics Committees at Universities. [online] https://zevedi.de/wp-content/uploads/2023/02/ZEVED_AI-Research-Ethics_web_2023.pdf [29.08.2024].

Zitiervorschlag

Brenneis, Andreas (2024): Generative KI und Dual-Use: Risikobereiche und Beispiele. In: Verantwortungsblog. https://zevedi.de/generative-ki-und-dual-use-risikobereiche-und-beispiele/ [07.11.2024]. https://doi.org/10.60805/by6z-fb49