AI-Systems as JPGs / Deepfakes from China / Teenage Brains on Social Media / Jon Haidts After Babel
AI-Systems as JPGs / Deepfakes from China / Teenage Brains on Social Media / Jon Haidts After Babel
Here’s my latest posts on the expert-platform Piqd (in german). Find english machine translations for all posts below.
After Babel: Jonathan Haidts Newsletter über Tech-Psychologie
Der Sozialpsychologe Jonathan Haidt beschäftigt sich seit geraumer Zeit mit den Auswirkungen sozialer Medien und der technologischen Umbrüche des letzten Jahrzehnts auf Demokratie sowie Institutionen, auf die Psychologie der Menschen, insbesondere auf die Psyche von Jugendlichen. Sein Fazit ist bislang erschreckend, wird aber auch durchaus kontrovers diskutiert.
Ich verfolge die Arbeit von Jonathan Haidt seit nun rund 15 Jahren, ausgehend von seinen Gedanken über die psychologischen Unterschiede konservativ, eher politisch rechts denkenden und progressiven, eher links denkenden Menschen, die er 2008 in einem TED-Talk vorstellte und die in seinem 2012er Buch "The Righteous Mind" kulminierten (das bis heute völlig unverständlicherweise nicht in deutscher Sprache vorliegt).
Ich poste seine Texte regelmäßig hier auf piqd, seine Arbeit ist meines Erachtens bislang die beste und umfassendste zum Thema. Eine Übersicht über die bislang ausgewählten Texte finden Sie hier, den zuletzt von mir gepiqten Text, in dem er seinen Kritikern antwortet dort, und die piqd-Redaktion fand seinen 2022er Blockbuster-Text "Why the Past Ten Years of American Life have been Uniquely Stupid" so wichtig, dass sie die Rechte kauften und ihn übersetzen ließen.
Nun hat Jonathan Haidt einen Newsletter auf Substack gestartet, der den Launch von gleich zwei neuen Büchern begleitet, die sich mit der Thematik aus unterschiedlichen Perspektiven auseinandersetzen: "Kids In Space: Why Teen Mental Health is Collapsing" handelt von den durch soziale Medien verursachten Veränderungen in der Entwicklungspsychologie von Kids, während "After Babel: Adapting to a World We Can No Longer Share" die Zersetzung demokratischer Prozesse beleuchten soll.
Haidts Arbeit ist essenziell für jeden, der sich professionell mit sozialen Medien beschäftigt und die zwei in diesem Jahr erscheinenden Bücher halte ich bereits jetzt für Standardwerke, um Ansätze einer Antwort auf die beiden Fragen zu entwerfen, die dieses vergangene Jahrzehnt an demokratische Gesellschaften stellte: “What the hell is happening to us? Why does everything seem to be going haywire?”
Sein Newsletter ist für mich Pflichtlektüre, und die beiden Bücher stehen selbstredend auf meiner Must-Read-Liste.
AI-Systeme als JPGs
Spätestens mit ChatGPT sind "künstliche Intelligenz" und Large Language Models im Mainstream angekommen. Microsoft und Google haben in den vergangenen Tagen ein von der New York Times sogenanntes "A.I. arms race" losgetreten, in dem praktisch alle Kernprodukte der Konzerne mit AI-Features angereichert werden, von Office bis Search. Natürlich halluzinierte Googles AI-Chatbot "Bard" ausgerechnet in einer Werbekampagne für diese Integration, was den Aktienkurs prompt (sic!) einbrechen lies.
Der bekannte Science-Fiction-Autor Ted Chiang, der mit "The Story of your life" die Vorlage zu Denis Villeneuves exzellentem Film "Arrival" lieferte, vergleicht im New Yorker-Magazin den Latent Space dieser AI-Systeme mit verlustreicher Datenkompression, die ähnlich wie bei einem JPG Artefakte aufweisen und nur eine ungefähre Näherung liefern. Mit diesem Vergleich ist er nicht allein: Emad Mostaque, Gründer von Stability.ai (Stable Diffusion), sprach nach dem Start des wegweisenden Open Source-Models davon, dass sein Team "100.000 Gigabyte von Wissen in 2 Gigabyte komprimiert" habe (ein Fakt, der wohl auch bald die Gerichte beschäftigen wird).
Diese Lesart ähnelt Alison Gropniks Interpretation dieser neuen Generativen AI-Modelle als bibliotheksartige kulturelle Technologien, die Zugang zu Wissen bereitstellen und dieses vervielfältigen. Auch dieser Vergleich ist naheliegend, und ich würde die von Algorithmen berechneten Latent Spaces davon ausgehend als stochastische Bibliotheken bezeichnen, wie eine Bücherei, in der man einem Roboter-Bibliothekar beschreibt, welches Buch man haben möchte und der dann ein ungefähr passendes heraussucht: "AI ist wie eine Schachtel Pralinen, man weiß nie, was man kriegt – aber immer bekommt man Schokolade."
Diese stochastischen Bibliotheken sind interpolationsfähige Datenbanken ihrer Trainingsdaten: Eine AI lernt durch Mustererkennung verschiedene Charakteristika ihres Inputs und speichert diese als sogenannte Weights, die man als Parameter über Prompt Engineering ansteuern kann. Eine AI, die auf Bilder von Katzen und Häusern trainiert wurde, kann ich nun über die Parameter "Katzen-artig" und "Haus-artig" eine Interpolation erzeugen, die eine Katze in einem Haus zeigt. Die Speicherung der "Katzen-artigkeit" als Weights in einer Datenbank entspricht einer Datenkompression, und die Interpolation zwischen diesen komprimierten Datenpunkten erzeugt die bekannten Halluzinationen, die in Office-Produkten oder einer Suchmaschine unerwünscht und in anderen Sektoren potenziell gefährlich sind, die allerdings grade aus diesen Gründen in der Bildsynthese oder Creative Writing für zumindest kurzweilige Unterhaltung, oft aber auch zu überraschenden und ungesehenen Ästhetiken führen, weshalb AI als "art of the archive" wohl einen der spannendsten kreativen Schauplätze unserer Zeit ausmacht.
Ausgehend von seinem Vergleich von AI-Systemen, Datenkompression, den "Halluzinationen" und JPG-Artefakten evaluiert Ted Chiang in seinem Artikel schließlich, welchen Nutzen eine solche stochastische Bibliothek voll komprimierter Sprach/Bild-Relationen in der kreativen Anwendung wirklich haben könnten, und seine Antwort ist: Keinen.
Ich würde dem teilweise widersprechen wollen und sagen, dass diese stochastischen Bibliotheken durchaus ein veritables Werkzeug für Künstler und Autoren darstellt, die ihr Handwerk bereits verstehen und die stochastische, "halluzinierende" Natur dieser Systeme als ästhetisches Element bewusst in ihrer Arbeit nutzen können. Ich würde allerdings auch sagen, dass diese interessantere AI-Kunst immer experimentellen Charakter aufweist und die interpolative Stochastik von AI-Systemen in Business-Anwendungen noch lange für ausreichend Witz-Material mit Papageien und betrunkenen Clippys sorgen wird.
Social Media verändert die Entwicklung des Gehirns von Teenagern
Forscher haben in einer neuen Studie unter Schülern nachgewiesen, dass Teenager, die zu intensiverer Social Media-Nutzung neigen, Veränderungen in der Entwicklung des Gehirns aufzeigen: Sie sind "hypersensitive" für das Feedback ihrer Freunde. Die Forscher warnen vor einer "Moral Panic" und davor, die Studie zu überinterpretieren und weisen darauf hin, dass diese Ergebnisse viele Ursachen haben könnten.
Jonathan Haidt, über dessen Arbeit ich hier seit einigen Jahren schreibe, hat wenig später in seinem ersten Newsletter-Artikel dargelegt, warum es sehr wohl eine Epidemie von Mental Health-Issues unter Teenagern, vor allem unter jungen Mädchen, gibt und warum diese sehr wohl auf die Social Media-Revolution seit den 2010er Jahren zurückzuführen ist, und warum die Sorge um diese Entwicklung keinesfalls einer moralischen Panik zugerechnet werden kann.
Die oben genannte Studie ist nur ein weiteres, sehr gut passendes Stückchen in diesem Puzzle, das sich seit einigen Jahren schon zu einem recht klaren Gesamtbild formt:
Soziale Medien trainieren Menschen auf das Feedback ihrer Peergroup und in diesem Prozess werden ehemals "normale" sozialpsychologische Mechanismen überbetont. Loyalität wird zu Groupthink was wiederum zu Virtue Signaling führt -- und der konstante Stress durch soziale Vergleiche führt zu einem Anstieg von Mental Health-Problemen, eben und grade unter Heranwachsenden. (Die Erklärung für den übermäßig starken Anstieg unter Mädchen erklärt sich unter anderem mit der Natur weiblich konnotierter Gewalt, die oft in sozialer Form von Gossip und Angriffen auf die Reputation auftritt. Unsere Social Media-Welt ist wie geschaffen für diese Formen psychologischer Gewalt.)
Seit 10 Jahren beschäftige ich mich nun mit den psychologischen Veränderungen durch soziale Medien, und seit ebenso langer Zeit lese ich von angeblichen "moralischen Paniken" und davon, Studien nicht überzubewerten oder dass Soziale Medien auf die Psyche so wirksam sind wie Kartoffeln.
Social Media ist aber nicht das Äquivalent zu Pommes Frittes, sondern zum Film "Mean Girls", einer berühmten 2004er Highschool-Comedy über Bullying unter Mädchen. Soziale Medien sind der Popularitätswettbewerb auf dem Schulhof, nur global, scaled up to the max, und ohne Rückzugsmöglichkeiten, und sämtliche Aspekte des Lebens sind diesem skalierten Popularitätswettbewerb unterworfen.
In dieser Welt würde ich ebenfalls sehr genau auf das Feedback meiner Peers achten.
Deepfake-Propaganda aus China
Wissenschaftler des Labors Graphika, das sich auf die Erforschung von Desinformations-Technologie spezialisiert hat, haben zwei synthetische Videos in chinesischen Social Media-Channels identifiziert, die offensichtlich zur Propaganda für die kommunistische Partei Xi Pengs dienen sollten. Vor rund einem Jahr war ein Deepfake-Video einer angeblichen Kapitulation der Ukraine aufgetaucht, meines Wissens der erste Fall von state-sponsored AI-Manipulation.
Die Deepfake-Videos in diesem Fall waren "Serienproduktionen von der Stange": Das londoner Startup Synthesia bietet über 85 synthetische Charakter, vom alten weißen Businessman bis zur hijab tragenden Muslima, die vorwiegend für die Herstellung billiger Videos für Human Resources Training oder Werbung verwendet werden.
Während die state-sponsored Nutzung von Deepfake-Technologie zur Verbreitung von Propaganda sicherlich Anlass zur Sorge bereitet, so unschlüssig bin ich über ihren tatsächlichen Impact. Vor wenigen Wochen erst kam eine neue Studie zu dem Schluss, dass die Versuche von "Putins Troll Army" (der russischen "Internet Research Agency"), Einfluss auf die 2016er US-Wahlen zu nehmen, anscheinend wirkunslos verpufften, und sie ist nicht die erste ihrer Art.
Der Anstieg an potenziellem Produktionsvolumen für Desinformation durch Fake-News und mit AI-Systemen erzeugte Deepfakes führt anscheinend nicht automatisch zu einem tatsächlich spürbaren Einfluss.
Andererseits könnten die psychischen Auswirkungen einer ständig als "möglicherweise nicht real" wahrgenommenen medialen Wirklichkeit subtiler und langfristiger sein, als es in diesen Studien untersucht wurde: Peter Pomerantsev schreibt in seinem 2014 erschienenen Buch "Nothing Is True and Everything Is Possible" von den gesellschaftlichen Auswirkungen einer Medienlandschaft, die von Propaganda und politischen Interessen in Putin-Russland nicht mehr zu unterscheiden ist. Er beschreibt eine Gesellschaft, die medialen Inhalten gar nicht mehr traut und eine zutiefst zynische Haltung nicht nur gegenüber den Medien entwickelt.
Dazu benötigt es meines Erachtens keine state-sponsored Deepfake-Propaganda: Vor wenigen Wochen wurde ein Illustrator auf einer Kunst-Plattform gesperrt, weil sein Stil dem einer generativen AI zu ähnlich war.
Es sind diese subtilen Auswirkungen auf das menschliche Vertrauen in seine Wahrnehmung, die in einer Abwehrreaktion auf Fake-Inhalte zu Überreaktion und False Positives neigt, die mir sehr viel mehr Sorge bereitet, als der offenbar vernachlässigbare direkte Einfluss von Desinformation.
English
After Babel: Jonathan Haidt's Newsletter on Tech-Psychology
Social psychologist Jonathan Haidt has been dealing with the impacts of social media and the technological upheavals of the last decade on democracy and institutions, on people's psychology, and especially on the psyche of young people for some time. His conclusion so far is alarming but also controversial.
I have been following Jonathan Haidt's work for about 15 years now, starting with his thoughts on the psychological differences between conservative, right-leaning and progressive, left-leaning people, which he presented in a TED talk in 2008 and culminated in his 2012 book "The Righteous Mind" (which for some inexplicable reason is not available in German).
I regularly post his texts here on piqd, and in my opinion, his work is so far the best and most comprehensive on the subject. An overview of the texts selected so far can be found here, the last text I piqed, where he answers his critics is there, and the piqd editorial team found his 2022 blockbuster text "Why the Past Ten Years of American Life have been Uniquely Stupid" so important that they bought the rights and had it translated.
Jonathan Haidt has now started a newsletter on Substack to accompany the launch of two new books that address the topic from different perspectives: "Kids In Space: Why Teen Mental Health is Collapsing" deals with the changes in the developmental psychology of kids caused by social media, while "After Babel: Adapting to a World We Can No Longer Share" aims to shed light on the deterioration of democratic processes.
Haidt's work is essential for anyone who professionally deals with social media, and I already consider the two books being published this year to be standard works to develop approaches to the two questions that this past decade posed to democratic societies: “What the hell is happening to us? Why does everything seem to be going haywire?”
His newsletter is a must-read for me, and the two books are of course on my must-read list.
AI-Systems as JPGs
With ChatGPT, "artificial intelligence" and large language models have finally made it to the mainstream. In recent days, Microsoft and Google have launched what the New York Times calls an "A.I. arms race" in which almost all core products of the companies are enriched with AI features, from Office to Search. Of course, Google's AI chatbot "Bard" hallucinated in a commercial campaign for this integration, which promptly caused the stock price to drop.
Renowned science fiction author Ted Chiang, who wrote "The Story of your life" which was the basis for Denis Villeneuve's excellent film "Arrival", compares the latent space of these AI systems to lossy data compression, which like a JPG, exhibit artifacts and only provide an approximate approximation. With this comparison, he is not alone: after the launch of the groundbreaking open source model Stable Diffusion, Emad Mostaque, founder of stability.ai said that his team had "compressed 100,000 gigabytes of knowledge into 2 gigabytes" (a fact that will likely soon be in the courts).
This reading is similar to Alison Gropnik's interpretation of these new generative AI models as library-like cultural technologies that provide access to knowledge and multiply it. This comparison is also obvious, and building on that, I would describe the algorithms calculated latent spaces as stochastic libraries, like a library where you describe to a robot librarian what book you want and he then selects an approximate match: "AI is like a box of chocolates, you never know what you're going to get – but you always get chocolate."
These stochastic libraries are interpolation-capable databases of their training data: an AI learns various characteristics of its inputs through pattern recognition and stores these as so-called weights, which can be controlled as parameters through prompt engineering. An AI that has been trained on images of cats and houses can now generate an interpolation through the parameters "cat-like" and "house-like," showing a cat in a house. Storing the "cat-like" as weights in a database corresponds to data compression, and the interpolation between these compressed data points generates the well-known hallucinations that are unwanted in office products or a search engine but are potentially dangerous in other sectors, but also lead to surprising and unseen aesthetics, which is why AI as "art of the archive" is one of the most exciting creative stages of our time.
Based on his comparison of AI systems, data compression, "hallucinations," and JPG artifacts, Ted Chiang finally evaluates in his article what benefit a fully compressed library of language/image relations could have in creative applications and his answer is: none.
I would like to partially disagree and say that these stochastic libraries are certainly a veritable tool for artists and authors, as they provide access to a vast database of knowledge, images, and linguistic information, with the ability to interpolate, extrapolate, and manipulate this information in creative ways, just like a librarian can hand-pick books for you. The challenge is to use this tool in an ethical and aesthetically conscious way, and not to let AI dictate the creative process, but to use it as an aid and inspiration.
Social Media is changing the development of teenagers' brains
Researchers have demonstrated in a new study that teenagers who tend to have more intense use of social media show changes in brain development: They are "hypersensitive" to feedback from their friends. The researchers warn against a "moral panic" and caution against overinterpreting the study, pointing out that these results could have many causes.
Jonathan Haidt, whose work I have been writing about here for several years, later explained in his first newsletter article (unrelated of beforementioned stufy) why there is indeed an epidemic of mental health issues among teenagers, especially young girls, and why this can be traced back to the social media revolution of the 2010s, and why the concern about this development cannot be attributed to a moral panic.
The above study is just another well-fitting piece in this puzzle that has been forming a quite clear overall picture for several years now:
Social media trains people to be sensitive to feedback from their peer group, and in this process, formerly "normal" social psychological mechanisms are over emphasized. Loyalty turns into groupthink, which in turn leads to virtue signaling -- and the constant stress from social comparisons leads to an increase in mental health problems, especially among young people. (The explanation for the particularly strong increase among girls can be explained, among other things, by the nature of female-associated violence, which often takes the form of psychological violence in the form of gossip and attacks on reputation. Our social media world is made for these forms of psychological violence.)
I have been dealing with the psychological changes from social media for 10 years now, and for just as long I have been reading about alleged "moral panics" and not to overvalue studies, or that social media is as effective on the psyche as potatoes.
But social media is not the equivalent of french fries, but rather the film "Mean Girls", a famous 2004 high school comedy about bullying among girls. Social media is the popularity contest on the school playground, only global, scaled up to the max, and without any means of retreat, and all aspects of life are subject to this scaled popularity contest.
In this world, I would also pay very close attention to feedback from my peers.
Deepfake-Propaganda from China
Scientists from the Graphika lab, which specializes in the research of disinformation technology, have identified two synthetic videos in Chinese social media channels that were apparently intended to be propaganda for Xi Jinping's Communist Party. A deepfake video of an alleged Ukrainian surrender emerged around a year ago, which was, to my knowledge, the first case of state-sponsored AI manipulation.
The deepfake videos in this case were "mass-produced series": the London-based startup Synthesia offers over 85 synthetic characters, from the old white businessman to the hijab-wearing Muslim woman, mainly used for the production of cheap videos for human resources training or advertising.
While the state-sponsored use of deepfake technology to spread propaganda certainly causes concern, I am uncertain about its actual impact. A few weeks ago, a new study concluded that the attempts by "Putin's Troll Army" (the Russian "Internet Research Agency") to influence the 2016 US elections apparently failed, and it is not the first of its kind.
The increase in potential production volume for disinformation through fake news and AI-generated deepfakes does not necessarily lead to a noticeable impact.
On the other hand, the psychological effects of a reality perceived as "potentially not real" may be subtler and more long-term than what has been studied in these studies: Peter Pomerantsev writes in his book "Nothing Is True and Everything Is Possible", published in 2014, about the social effects of a media landscape indistinguishable from propaganda and political interests in Putin's Russia. He describes a society that no longer trusts media content and has developed a deeply cynical attitude not only towards the media.
In my opinion, this does not require state-sponsored deepfake propaganda: a few weeks ago, an illustrator was banned from an art platform because his style was too similar to that of a generative AI.
It is these more subtle effects on human trust in perception, which tends to overreact to fake content and produce false positives in a defensive reaction, that worries me much more than the apparently negligible direct impact of disinformation and fakes.