Generative KI und Cybersicherheit Halluzinierende KI, wortgewandte Phisher: Chancen und Gefahren generativer KI

Anbieter zum Thema

Bundesamt für Sicherheit i.d.Informationstechnik

MicroConsult Microelectronics Consulting & Training GmbH

IBR Leiterplatten GmbH & Co. KG

NetModule AG

Das Bundesamts für Sicherheit in der Informationstechnik (BSI) hat die Studie „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“ aktualisiert, um die Gefahren und Möglichkeiten generativer KI im täglichen Gebrauch in Beruf und im Privaten verständlicher zu machen. Und um hervorzuheben, wie KI die Cyberbedrohungslandschaft verändert.

Wer einigermaßen fit im Filtern der Nachrichten in seinem E-Mail-Postfach ist, erkennt eine der häufigsten Bedrohungen der Online-Landschaft ziemlich schnell. Da werden für geringe Kosten und insbesondere mit Rezeptfreiheit potente Superpillen versprochen; hier versucht ein Angreifer Panik zu verbreiten, indem er damit droht, das Arbeitssystem zu verschlüsseln, weil er Sie angeblich über die Webcam dabei erwischt hat, wie Sie sich nicht jugendfreie Filmchen angesehen haben.

Solche Phishing-Nachrichten sind gewöhnlich einfach daran zu erkennen, dass die Grammatik der Sprache nicht richtig angewendet wird oder daran, dass der Wortlaut der Nachricht einfach merkwürdig klingt. Etwa, weil Worte genutzt werden, die in einer offiziellen Kommunikation einer Bank oder einer Behörde vom Gefühl her nicht vorkommen. Ganz besonders einfach sind die Phishing-Nachrichten zu erkennen, die angeblich von einem Geldinstitut kommen, während die Versandadresse von einem privaten Mailprovider stammt. Oder solche E-Mails, in denen schon die Bilder oben nicht mit dem üblichen Logo des Unternehmens übereinstimmen.

Aber was wäre, wenn sich an der Grammatik oder der Wortwahl in einer solchen Phishing-Nachricht nicht mehr ablesen lässt, ob es sich um einen Betrugsversuch handelt? Was wäre, wenn Cyberkriminelle generative KI nutzen, um die perfekte Phishing-Nachricht zu verfassen und um uns alle in die Pfanne zu hauen?

Was ist Phishing eigentlich?

Phishing ist eine relativ simple Form eines Cyberangriffs. Betrüger verschicken via E-Mail, aber auch über populäre Messenger oder SMS legitim aussehende Nachrichten, die oft auf gefälschte Webseiten führen. So versuchen sie, Personen zu erreichen, die ihrer Nachricht Glauben schenken, und die ihnen im Anschluss persönliche oder vertrauliche Informationen wie Benutzernamen, Passwörter, Kreditkartennummern oder andere sensible Daten anvertrauen.

Diese Art von Attacke nennt sich Phishing, weil die Angreifer gewissermaßen im Trüben fischen. Ein Beispiel für diese Taktik: Die Betrüger generieren eine zufällige Mobilnummer und zählen die letzten drei Stellen einfach von 000 hoch bis 999; erreichen so potenziell 1.000 Menschen mit ihrer Nachricht, die sie über Webservices verschicken.

Ein anderes Beispiel: Erinnern Sie sich an die Flut von Robocalls im Sommer 2022, bei denen Ihnen angeblich das BKA weismachen wollte, Ihre Identität sei gestohlen worden? Das war ebenfalls eine Art von Phishing-Attacke. Es wird dabei weitestgehend mit der Schrotflinte auf Spatzen geschossen; wenigstens ein gutgläubiges Opfer wird schon auf den Phishing-Versuch hereinfallen.

Typischerweise werden Phishing-Nachrichten mit Täuschung und Drucktaktiken versehen, um Opfer dazu zu bringen, schnell zu handeln, ohne über die Echtheit der Anfrage nachzudenken. Die Links in diesen Nachrichten können zu gefälschten Websites führen, die denen von legitimen Unternehmen ähneln, aber tatsächlich von den Angreifern kontrolliert werden.

Phishing kann zu Identitätsdiebstahl, finanziellen Verlusten, Datenschutzverletzungen und anderen schwerwiegenden Problemen führen. Um sich vor Phishing zu schützen, sollten Nutzer skeptisch gegenüber unerwarteten Nachrichten sein, insbesondere solchen, die nach persönlichen Informationen oder vertraulichen Daten fragen. Deswegen sollten Sie im besten Fall nie auf einen Link in einer Mail klicken, den Ihnen angeblich Ihre Bank geschickt hat. Geben Sie stattdessen fürs Online-Banking immer die URL Ihrer Bank in den Browser ein und sehen Sie dann nach, ob noch alles seine Richtigkeit hat.

Was macht generative KI mit Cyberattacken?

An den gewählten Beispielen erkennen Sie schnell: Wir alle sind regelmäßig und konstant solchen Angriffen ausgesetzt und entsprechend wichtig ist es, sich über die möglichen Gefahren der Cyberkriminalität zu informieren, und zwar nicht nur für Ihr privates Wohlergehen, sondern auch für Ihr berufliches. Denn Cyberkriminalität entwickelt sich genauso rasant wie die digitalen Technologien, die uns das Leben eigentlich komfortabler machen sollen.

Künstliche Intelligenz ist eine viel diskutierte und inzwischen auch viel genutzte Technologie, die sowohl ehrlichen als auch unehrlichen Akteuren im Internet Chancen wie Gefahren bietet. Während Sie aber vielleicht nur Ihr formelles Schreiben durch eine Rechtschreibkorrektur laufen lassen, können Cyberkriminelle dieselben Tools nutzen, die nebenbei erwähnt die Einstiegshürde in die Cyberkriminalität erheblich senken, und oben erwähnte Phishing-Nachrichten perfektionieren. Oder aber um von einer generativen KI einen Schadcode schreiben und mutieren zu lassen.

Davor warnt das Bundesamt für Sicherheit in der Informationstechnik (BSI) in der aktuellen Version der Studie „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“. Diese wurde nicht nur um eine neue Struktur erweitert, sondern hebt deutlich die Stärken und Schwächen hervor, die mit den Möglichkeiten eines sogenannten Large Language Models (LLM) einhergehen, einer Unterart der generativen KI, die vornehmlich textbasiert arbeitet. Insbesondere der Part mit den Vorsichtsmaßnahmen, die ergriffen werden sollten, wenn man ein LLM-Werkzeug nutzt, sind weiterhin lesenswert. 

Das BSI empfiehlt etwa, dass Sie sparsam mit der Preisgabe sensibler Daten umgehen sollten. „Dies bezieht sich auf die Anmeldung bei Diensten, die LLMs bzw. LLM-basierte Anwendungen bereitstellen, auf Eingaben, die sie an 

Sprachmodelle tätigen, sowie auf Daten, die dem LLM durch Zugang zu weiteren Funktionalitäten zur Verfügung stehen.“ Denn LLM erlernen ihre Fähigkeiten über das Training mit Texten, die in das KI-Tool eingegeben werden. Das bedeutet etwa, dass ChatGPT aus Ihrer Interaktion und aus Ihrem Text lernt. Oder, wie ChatGPT es selbst etwas verklausuliert formuliert: „Während ich keine spezifischen Informationen über einzelne Benutzer oder deren Eingaben speichere, ermöglicht mir die Vielzahl der Interaktionen, die ich habe, ein fortlaufendes Training und eine Verbesserung meiner Fähigkeiten im Umgang mit verschiedenen Themen und Fragestellungen.“

Maßnahmen zur Wahl der „richtigen“ KI

Künstlicher Intelligenz und maschinellem Lernen wird die Transformation unserer Industrie und unserer Produktionsprozesse nachgesagt. Doch das funktioniert auch nur, wenn die „richtige“ KI „richtig“ angewandt wird. Insgesamt 19 Hinweise geben Ihnen die Mitarbeiter des BSI zur Wahl der Künstlichen Intelligenz für Ihre Bedürfnisse, beginnend bei der Sicherstellung der Qualität und dem Schutz der Trainingsdaten. So wird beispielsweise verhindert, dass eine KI halluziniert.

Das bedeutet übrigens, dass sie unerwartete oder ungewöhnliche Ergebnisse produziert, die nicht mit den erwarteten oder trainierten Daten übereinstimmen. Dies kann durch generatives Modellieren, Overfitting oder Fehlinterpretation von Mustern in den Daten auftreten. Halluzinationen einer KI sind vornehmlich das Produkt von Algorithmen und Berechnungen, die mit der Qualität des Trainings einhergehen.

Sollten Sie sich für den Einsatz künstlicher Intelligenz in Ihrem Unternehmen interessieren, dann empfehlen wir Ihnen den Blick in die BSI-Studie. (sb)

IT-Security-Ausblick

KI-Hacking: Mehr Fakes und höhere Lösegeldforderungen

Cyber-Sicherheit: Kaspersky-Jahresanalyse 2023

Industrie im Visier: Hacker bedrohen immer mehr Systeme

(ID:50025727)