Wie ausländische Unternehmen unsere Meinung über soziale Medien beeinflussen

Im Vorfeld der US-Präsidentschaftswahlen 2024 sind ausländische Einflusskampagnen oder Informationsoperationen weit verbreitet. Einflusskampagnen sind groß angelegte Bemühungen, die öffentliche Meinung zu beeinflussen, falsche Darstellungen zu verbreiten oder das Verhalten einer Zielgruppe zu ändern. Russland, China, Iran, Israel und andere Länder führten solche Kampagnen durch und nutzten dabei Social Bots, Influencer, Medienunternehmen und generative KI.

Meine Kollegen und ich untersuchen Einflusskampagnen und entwickeln technische Lösungen – Algorithmen -, um sie zu erkennen und zu bekämpfen. Die hochmodernen Methoden, die an unserem Zentrum entwickelt wurden, verwenden mehrere Indikatoren für diese Art von Online-Aktivitäten, die Forscher als falsch koordiniertes Verhalten bezeichnen. Wir identifizieren Gruppen von Social-Media-Accounts, die synchron posten, dieselben Benutzergruppen verstärken, identische Links, Bilder oder Hashtags teilen oder verdächtig ähnliche Handlungsabläufe ausführen.

Wir haben viele Beispiele für koordiniertes und betrügerisches Verhalten aufgedeckt. Wir haben zum Beispiel Accounts gefunden, die das Netzwerk an einem einzigen Tag mit Zehntausenden oder Hunderttausenden von Beiträgen überfluten. Im Rahmen ein und derselben Kampagne kann eine Nachricht von einem Account gepostet und dann von anderen Accounts, die ebenfalls von den Organisatoren kontrolliert werden, innerhalb kurzer Zeit hunderte Male mit „Gefällt mir“ oder „Gefällt mir nicht“ markiert werden. Sobald die Kampagne ihr Ziel erreicht hat, können all diese Beiträge gelöscht werden, um einer Entdeckung zu entgehen. Mit diesen Tricks können ausländische Regierungen und ihre Agenten die Algorithmen der sozialen Medien manipulieren, die bestimmen, was angesagt ist und was die Nutzer in ihren Feeds sehen.

Generative KI

Eine Technik, die immer häufiger zum Einsatz kommt, ist die Erstellung und Verwaltung von Armeen gefälschter Konten mit Hilfe generativer künstlicher Intelligenz. Wir haben 1.420 gefälschte Twitter-Accounts – jetzt X – analysiert, die KI-generierte Gesichter für ihre Profilbilder verwenden. Diese Konten wurden unter anderem dazu verwendet, Betrugsversuche zu verbreiten, Spam zu versenden und koordinierte Nachrichten zu verstärken.

Wir schätzen, dass mindestens 10.000 solcher Konten täglich auf der Plattform aktiv waren, bevor X-CEO Elon Musk die Vertrauens- und Sicherheitsteams der Plattform drastisch reduzierte. Wir haben auch ein Netzwerk von 1.140 Bots identifiziert, die ChatGPT nutzen, um menschenähnliche Inhalte zu generieren, die für Fake-News-Websites und Kryptowährungsbetrug werben.

Diese Bots posteten nicht nur maschinengenerierte Inhalte, schädliche Kommentare und gestohlene Bilder, sondern interagierten auch untereinander und mit Menschen durch Antworten und Retweets. Gegenwärtige hochmoderne, auf großen Sprachmodellen basierende Inhaltsdetektoren sind nicht in der Lage, zwischen KI-gestützten Social Bots und menschlichen Accounts in freier Wildbahn zu unterscheiden.

Exemplarisches Fehlverhalten

Die Folgen solcher Aktivitäten sind schwer abzuschätzen, da es schwierig ist, Daten zu sammeln und ethische Experimente durchzuführen, die Online-Gemeinschaften beeinflussen. So ist beispielsweise unklar, ob Online-Einflusskampagnen das Wahlergebnis beeinflussen können. Dennoch ist es wichtig, die Anfälligkeit der Gesellschaft für verschiedene Manipulationstaktiken zu verstehen.

In einem kürzlich erschienenen Artikel haben wir ein Social-Media-Modell namens SimSoM vorgestellt, das simuliert, wie sich Informationen in sozialen Netzwerken verbreiten. Das Modell enthält die wichtigsten Komponenten von Plattformen wie Instagram, X, Threads, Bluesky und Mastodon: ein empirisches Follower-Netzwerk, einen Feed-Algorithmus, Mechanismen zum Teilen und Weiterleiten sowie Metriken für die Qualität, Attraktivität und Interaktion von Inhalten. SimSoM ermöglicht es Forschern, Szenarien zu untersuchen, in denen das Netzwerk von böswilligen Akteuren manipuliert wird, die Fake-Accounts kontrollieren. Diese böswilligen Akteure versuchen, minderwertige Informationen wie Desinformation, Verschwörungstheorien, Malware oder andere schädliche Nachrichten zu verbreiten. Wir können die Auswirkungen gegnerischer Manipulationstaktiken abschätzen, indem wir die Qualität der Informationen messen, denen die Zielnutzer im Netzwerk ausgesetzt sind.

Wir haben Szenarien simuliert, um die Auswirkungen von drei Manipulationstaktiken zu bewerten.

• Infiltration: Fake-Accounts erzeugen glaubwürdige Interaktionen mit menschlichen Nutzern in der Zielgruppe und bringen diese dazu, ihnen zu folgen.
• Täuschung: Fake-Accounts veröffentlichen ansprechende Inhalte, die von den Zielnutzern wahrscheinlich weiter geteilt werden. Bots können dies beispielsweise durch emotionale Reaktionen und politische Ausrichtung erreichen.
• Überflutung: Veröffentlichung großer Mengen von Inhalten.

Unser Modell zeigt, dass Infiltration die effektivste Taktik ist, da sie die durchschnittliche Qualität der Inhalte im System um mehr als 50% reduziert. Dieser Schaden kann noch verstärkt werden, indem das Netz mit minderwertigen, aber attraktiven Inhalten überschwemmt wird, wodurch die Qualität um 70% sinkt.

Koordinierte Manipulation eindämmen

Wir haben all diese Taktiken in der Praxis beobachtet. Besonders beunruhigend ist, dass generative KI-Modelle es böswilligen Akteuren wesentlich einfacher und billiger machen können, glaubwürdige Accounts zu erstellen und zu verwalten. Darüber hinaus können sie generative KI nutzen, um ständig mit Menschen zu interagieren und in großem Umfang schädliche, aber attraktive Inhalte zu erstellen und zu verbreiten. All diese Fähigkeiten werden genutzt, um die Netzwerke von Social-Media-Nutzern zu infiltrieren und ihre Streams mit irreführenden Beiträgen zu überfluten.

Diese Ergebnisse legen nahe, dass Social-Media-Plattformen mehr und nicht weniger Inhalte moderieren sollten, um Manipulationskampagnen zu erkennen und zu verhindern und so die Widerstandsfähigkeit ihrer Nutzer gegenüber solchen Kampagnen zu erhöhen. Die Plattformen können dies erreichen, indem sie es böswilligen Akteuren erschweren, gefälschte Konten zu erstellen und automatisch Beiträge zu posten. Sie können auch Konten, die sehr häufig posten, auffordern, nachzuweisen, dass ihre Beiträge von Menschen stammen. In Kombination mit Aufklärungsmaßnahmen können sie für mehr Reibung sorgen, indem sie die Nutzer dazu ermutigen, korrekte Informationen erneut zu teilen. Und sie können die Nutzer über ihre Anfälligkeit für betrügerische KI-generierte Inhalte aufklären.

Open-Source-KI-Modelle und -Daten ermöglichen es böswilligen Akteuren, ihre eigenen generativen KI-Werkzeuge zu entwickeln. Die Regulierung sollte daher eher auf die Verbreitung von KI-Inhalten über Social-Media-Plattformen als auf die Generierung von KI-Inhalten abzielen. Bevor beispielsweise eine große Anzahl von Menschen mit bestimmten Inhalten in Kontakt kommt, könnte eine Plattform von den Erstellern verlangen, die Richtigkeit oder den Ursprung der Inhalte nachzuweisen.

Diese Art der Moderation von Inhalten würde die Meinungsfreiheit schützen, anstatt sie zu zensieren. Das Recht auf freie Meinungsäußerung ist kein Recht auf Bloßstellung, und da die Aufmerksamkeit der Menschen begrenzt ist, können Einflussnahmen tatsächlich eine Form der Zensur darstellen, indem sie authentische Stimmen und Meinungen weniger sichtbar machen.