Simulated info-warfare with large language models
Zerg Rush Mimetic Models eat sockpuppets for lunch
(English Version below, zuerst veröffentlicht auf Piqd.)
Ein vor kurzem veröffentlichter wissenschaftlicher Aufsatz stellte ein neues Framework fĂ¼r eine Ethik fĂ¼r AI-Modelle vor, die Personen immitieren können. In diesem Paper gingen die Wissenschaftler vor allem von den sogenannten mimetischen AI-Modellen als persönliche digitale Assistenten aus, die etwa bei der Jobsuche eingesetzt werden und die Persönlichkeit des Anwenders realistisch abbilden können. In einem Piq vor wenigen Tagen ging ich in diesem Kontext auf den Fall eines jĂ¼ngst verstorbenen Illustrators und dem möglicherweise ersten "Pirate mimetic AI-Model" ein.
Nun haben Lisa P. Argyle et al in einem neuen Paper nachgewiesen, dass Large Language Models wie GPT3 in der Lage sind, das Verhalten, Vorurteile und Ansichten von ganzen Demographien bezĂ¼glich anderer Bevölkerungsgruppen realistisch nachzubilden. So konnten sie das AI-Modell auf die Aussagen von simulierten linksliberalen Demokraten konditionieren und so nicht nur realistische Aussagen Ă¼ber Republikaner generieren, sondern auch ihre realistische statistische Verteilung innerhalb der Gruppe. Dasselbe war selbstverständlich auch mit den Aussagen von konservativen Republikanern und ihren Haltungen gegenĂ¼ber Demokraten möglich.
Die Wissenschaftler präsentieren diese von ihnen sogenannte "Silicon Sampling"-Methode als eine neue Form des statistischen Modellings fĂ¼r die Sozialforschung und Psychologie (ungeachtet der Tatsache, dass Fehler in statistischem Modelling ein maĂŸgeblicher Grund fĂ¼r die Replikationskrise in den Geisteswissenschaften sind.)
Jack Clark warnt in seinem hervorragenden Newsletter ImportAI nun nicht nur vor neuartigen Replikationsfehlern, sondern auch vor "Full-Spectrum AI-Facilitated Information Warfare". Mir erscheint diese Warnung angebracht, denn erst im grĂ¶ĂŸeren Kontext weiterer Trends im AI-Sektor werden die Implikationen dieser neuen Simulationsmöglichkeit ganzer Bevölkerungsgruppen mit realistischen Outputs wirklich klar und die Wissenschaftler erwähnen diese Gefahren in ihrem Paper: Die Simulation von Bevölkerungsgruppen in Large Language Models öffnet die Tore fĂ¼r neuartige Methoden fĂ¼r Desinformationskampagnen, Manipulation und Betrug.
Mit dem Einzug von Open Source AI-Modellen wie Bloom oder Stable Diffusion stehen diese AI-Simulationen ganzer Demographien morgen nicht nur einer handvoll hochversierter Spezialisten in den Universitäten und Hightech-Konzernen zur VerfĂ¼gung, sondern jedem Coder, Hacker und Troll, die, ausreichende Python-Skills vorausgesetzt, eine Simulation der politischen Ă„uĂŸerungen eines ganzen Landes simulieren können.
Die Desinformations-Forscherin Renee DiResta hat in einem hellsichtigen Text bereits vor zwei Jahren vor unendlich verfĂ¼gbaren Falschmeldungen gewarnt und während der tatsächliche Impact von Desinformation und Social Bots fraglich bleibt -- siehe die hervorragende Arbeit von Michael Kreill in diesem Paper und in diesem Vortrag beim 34c3 -- so kann dennoch kein Zweifel daran bestehen, dass die Simulation des Verhaltens ganzer Bevölkerungsgruppen bereits heute Statistiken verfälschen und die Illusion von Engagement erzeugen kann, die wiederum Entscheidungen in Wirtschaft und Politik beeinflussen.
Ich sehe keinen Grund, warum nicht schon sehr bald ein technisch versierter Troll auf 4chan mit Hilfe einer Pipeline aus statistischen Datensets, GPT3 und Social Media einen hochviralen Shitstorm inklusive aller Resentiments gegenĂ¼ber der jeweiligen Outgroup in einem bereits von Krisen erschĂ¼tterten Land simulieren kann, der wiederum in Real Life Riots und Aufständen resultiert. Das Open Source-Prinzip wird hier im Zusammenspiel mit "misaligned" Artificial Intelligence-Technologien, also kĂ¼nstlichen Intelligenzen, die nicht an den Zielen und Werten der Menschheit ausgerichtet wurde, zum Problem. Das zeigten bereits die zahlreichen ethischen Fragen, die von Bildgeneratoren ausgeworfen wurden, die auf dem Open Source-Model Stable Diffusion basieren.
Die heutigen Sockpuppet-Accounts von orchestrierten Desinformationskampagnen sind die Zerg Rush Attacks dutzender mimetischer AI-Modelle von morgen, trainiert mit Open Source Code auf den Ă„uĂŸerungen hochpolarisierter Bevölkerungsgruppen. Der Impact dieser simulierten Informationskriege auf die tatsächlichen Meinungen und Haltungen der Menschen mag dann immer noch fragwĂ¼rdig sein, aber es wird ganz sicher ein interessanter Anblick.
English Version
A recent paper presented a new framework for an ethics of AI-models that imitate human behavior. In this paper, the researchers thought about the consequences of so-called mimetic AI-models as personal assistants which can be used in recruiting and which reproduce a synthetic version of a specific individual personality. A few days ago, i also wrote about the death of illustrator Kim Jung Gi and how a Stable Diffusion model trained on his specific style in a misguided attempt to honor the deceased artist may count as one of the first instances of a "pirate mimetic AI-model".
Now, Lisa P. Argyle et al, showed in their paper Out of One, Many: Using Language Models to Simulate Human Samples how Large Language Models like GPT3 are not only able to simulate individuals, but can reproduce realistic behaviour, biases and the opinions of whole demographics regarding other specific groups of the public. They were able to condition GPT3 on the opinions of leftwing democrats and replicate statistically realistic volumes of resentiments and opinions about republicans, and vice versa.
The researchers present this so-called "silicon sampling" as a new way of statistical modelling for psychology and sociology, notwithstanding the fact that statistical modelling already is one of the causes for the replication crisis in the social sciences.
Jack Clark now warns in his excellent ImportAI-Newsletter not only about new forms of statistical errors, but "Full-Spectrum AI-Facilitated Information Warfare" too. I think this warning is apt. In the larger context of bigger trends in the AI-sector the implications of these new methods of the simulation of whole demographic populace including realistic outputs becomes clear and the researchers aknowledge this in their paper: "Models with such fidelity, coupled with other computational and methodological advances, could be used to target human groups for misinformation, manipulation, fraud, and so forth".
Together with the release of open source models like Bloom or Stable Diffusion these new simulation methods of whole demographics are not just available to some specialized researchers in academia or in tech-corporations, but to every coder, hacker and troll, who, given the availability of sufficient python-skills and computing power, can produce the simulation of the political utterances of a whole nation. As far as I know, there is no self critique from the open source community worth mentioning regarding these dangers (yet).
Two years ago the desinformation researcher Renee DiResta warned in a prophetic text in The Atlantic about the availability of infinite synthetic desinformation. And while the actual impact of desinformation campaigns and social bots is debatable -- see the excellent work of Michael Kreill in this Paper and in this talk at the hacker conference 34c3 -- there can be no serious doubt about the fact that these simulations of behavior of whole populace can skew statistics and create the illusion of social media engagement, that in turn influences decisions in politics and economics.
I have no reason to believe, why a technical skilled Troll on 4chan should not be able to simulate major viral outrage among whole demographics with the help of a pipeline consisting of statistical datasets, GPT3 and social media, including the publishing of, lets say, "resentiments of all kinds" about any outgroup in an already crisis-shaken country, and produce real world riots and protests. In other words: The availability of demographic simulation means a new level for meme magic and Open Source for misaligned AI-tech becomes a problem. The ethical questions surrounding Stable Diffusion were just a first taste for the things to come.
Todays sockpuppet accounts are tomorrows zerg rush attacks from dozens of mimetic AI models based on open source code trained on partisan human behavior. The jury on the impact of these simulated information wars may still out, but still this will be a sight to behold.