A realist assessment of the AI-bullshit factory
Plus: Ban smartphones in schools / The AI-Dilemma / Noam Chomsky’s Manufacturing Consent in the 21st Century
Here’s my latest posts on Piqd, the german distribution-platform for journalists and experts. I machine translated the posts with ChatGPT for my international readers and edited them for juiciness. Find the german originals below the english versions.
ENGLISH
A realist assessment of the AI-bullshit factory
Piqd-Colleague Jannis Brühl recommended an article by James Vincent on The Verge yesterday, which deals with the alleged pollution of the internet by generative AI content. Casey Newton on his Platformer-blog goes down the same route, and although I don't really want to downplay the problem of a flood of synthetic content, I strongly believe that the internet has been exposed to a flood of machine-optimized and inferior content for a long time. Interestingly, a few days ago, The Verge wrote precisely on this topic: "How the SEO arms race has left Google and the web drowning in garbage text."
In a comment below Jannis' post, I wrote:
Yes, the automation of bullshit is a problem due to simple scaling, but I am more than certain that, just like with SEO crap and spam, we will find mechanisms for this, and SEO-bullshit and spam always only marginally affected human conversation on the internet.
It's a bit like the much-discussed flood of disinformation through the democratization of publishing or the legendary social bots: Yes, there is a lot of it, and no, most of it has almost no impact.
In other words, AI further lowers the costs of bullshit production, but the production costs were never the bottleneck; it's the distribution costs to get into your feed, and that requires attention, which the kind of bullshit we are talking about almost always never gets.
Sayash Kapoor and Arvind Narayanan of AI-Snakeoil now wrote a long piece for Columbia University about the realistic impact of synthetic content on social media and like me they come to the conclusion that, while AI further reduces the costs of bullshit production, the bottleneck for successful impact remains human psychology.
Based on that, they identify forms of synthetic content whose harmful effects are already felt and which call for political regulation: non-consensual deepfakes and fraud via voice cloning. Women are already being blackmailed with synthetic nudes, and seniors are deceived out of their savings with fake voices. These dangers are real, already have impact, and mimetic open-source AI systems do indeed create novel threat scenarios in these cases.
They also mention AI photo filters that can optimize every image in every imaginable way with a single click, even creating a realistic journey back to one's teenage years. The psychological impact of such democratized editing possibilities in our visual world is already foreseeable: a year ago, I shared a study about how photo filters are already driving up the numbers for cosmetic surgeries as they alter the perception of one's own face. The effect of AI-enhanced, visual one-click wish machines could be even bigger, especially with regard to virtual and augmented reality.
Furthermore, the debate about AI content allegedly poisoning the internet obscures other economically toxic effects of AI development: the illusion of cognitive algorithms is created by a new class of workers who create the datasets on which the new miracle machines are trained for starvation wages abroad.
Amidst all the warnings about a supposed flood of AI-generated SEO bullshit, let's not forget that SEO bullshit and spam have always been a problem but haven't really affected human conversation on the internet, and that the debate about this alleged flood obscures the view of economic problems and the subtler, psychologically harmful effects of mimetic AI.
The A.I. Dilemma
Tristan Harris, former "Design Ethicist" at Google, and Aza Raskin have expanded on their 2021 documentary "The Social Dilemma" (film's website, here's the trailer) to delve into the manifold problems raised by the development and rushed deployment of AI systems: "The A.I. Dilemma".
Tristan Harris and Aza Raskin discuss how existing A.I. capabilities already pose catastrophic risks to a functional society, how A.I. companies are caught in a race to deploy as quickly as possible without adequate safety measures, and what it would mean to upgrade our institutions to a post-A.I. world.
While "The Social Dilemma" focused on polarization, ever-shortening attention spans, and cascades of outrage on social media platforms, the keywords this time are: collapse of perceived reality, fully automated hacking attacks, synthetic emotional connections, automated lobbying, or even the breakdown of the justice system.
And all this is not because AI systems are beginning to transform us all into paper clips, but mainly because AI systems are the first non-human entities capable of generating natural language, thereby creating a psychological gateway for algorithms and automation to our societal, psychological and social mechanisms.
In another recent talk, they further discussed these topics: Tristan Harris and Aza Raskin discuss The AI Dilemma.
Noam Chomsky’s Manufacturing Consent in the 21st Century
Disinformation researcher Renée DiResta from the Stanford Internet Observatory writes about The New Media Goliaths and Noam Chomsky's "Manufacturing Consent" and how his media theory has been undermined by the internet and social media.
Chomsky's five media filters of the old world — "ownership, advertising, sourcing, catching flak, and fear" — have been largely transformed by the internet and often turned into their opposite. The democratization of publishing has practically reduced the costs of publishing to zero, influencers monetize through patronage instead of advertising, old gatekeepers and experts have been swept away and are now just one voice among many, "catching flak" or facing opposition from influential participants is a guaranteed attention-grabber in the era of the Streisand effect, and the possibilities of fearmongering are available to anyone today.
The internet has created space for many interconnected micro-publics, in which new apparent niche "Davids" fight against numerous "Goliaths" in a global attention economy. The consequences are hyper-contrarianism, the tendency to vehemently contradict any expression of the "old elites" by "media-of-ones" (media of individuals) and to interpret them solely within the context of their respective niches. This leads to conspiracy theories in which established media deceive the public and only the lone, independent thinker-warrior has the one and only truth. "Do your research", etc.
In line with this, a recent study — about which I wrote here —, attributing the familiar rhetorical exaggeration on the internet to a side effect of the well documented online disinhibition effect, which describes a loss of self-control in online communication due to the lack of communication cues such as body language or facial expressions. The paper argues that, in an attention economy, the absence of these communication tools, along with the lack of inhibitions in language, leads to an exaggeration of matters. Everything is either "awesome" or "literally the worst," and errors in news publishing are no longer attributed to sloppy reporting influenced by capitalist economic incentives but are seen as malicious conspiracies by Satanists who eat children in the basements of pizzerias.
DiResta does not have a solution to the problem. She writes that transparency about the new economic modalities and their consequences for publishers — and by publishers, I don't mean just traditional publishers but every actor on social media — could be enough to make the public more cautious when it comes to hyperbolic individual fighters with millions of followers on Twitter. Perhaps she is right in the long run, as we’re already seeing some sort of acclimatization to outrage, especially regarding the culture wars since 2015 which are hopefully continuing to wind down.
However, I don't believe that getting accustomed to internet outrage is a sufficient means to reunite fragmented publics into some new civil commonality, nor is this fragmented public particularly new. What’s new is that we can now see on a broader scale that our neighbors actually think very different, and we can publicly comment on and evaluate that.
A plea for the ban of smartphones in schools
For several years now, I’m arguing against the digitalization of education. I have nothing against laptops and smartphones in higher grades and universities; but in the formative years of elementary education and beyond, digital devices have a detrimental effect on the intellectual development of kids and therefore should be banned in the classroom, simply because the use of digital tools in education has been proven to hinder the fundamental educational mission of schools.
Jonathan Haidt now has written a lengthy plea in The Atlantic for a ban on smartphones in schools. On his Substack, there’s an even longer version of the text with additional links which support his claims.
I am familiar with these and other studies, and the scientific results are clear, especially regarding the educational mission: Reading and writing with digital devices result in reduced brain activity. The reason is simple: When reading and writing with tangible, physically graspable tools in the physical space, it stimulates brain areas responsible for spatial perception, which helps anchor the learned information in memory. In digital environments, this stimulus is all but completely absent. There is no connection between the written word and the motor functions of the brain or between the screen content and spatial perception, as with handwriting on paper or tactile reading in a printed book. Consequently, the learned information is forgotten more quickly.
A few years ago, I was sitting on an island in Greece, talking to a teacher from Holland whose school used digital devices in lower grades. He shook his head and said it was a disaster, and the children's learning performance had noticeably declined in recent years. Just a small anecdote in an Aegean sunset to complement the scientific studies I described.
For this reason alone, namely that digital environments undermine the primary educational goal — learning — I believe that digital tools should be completely avoided in lower grades, at least. Of course, it is conceivable to have dedicated digital teaching units for media literacy or something along those lines, but that is something qualitatively different from using digital devices as writing and/or reading tools.
On top of that, we have the obligatory warnings about socmed: Social media is one of the main causes of a depression epidemic, especially among young girls. Recent studies have found a correlation between the age at which children receive a smartphone and their later mental health — the younger they are introduced to the digital world, the more fragile they become later in life. Social media alters the psychological development of kids, and so on. As long as smartphones are allowed in schools, all of these effects will affect the classroom.
I strongly believe that social media is a psychoactive drug that exposes our dopaminergic-oxytocinergic hormone balance to a consciously self-manipulative environment. In simple terms, engaging with social media takes you on a trip — not cognitively, but socially. And at the risk of sounding like the angry old man that I sometimes am, such things have no place in schools.
If parents want to give their young children a smartphone - sure, go ahead. When they later in life read articles like this one, they can bill their parents for the therapy costs.
GERMAN
Eine realistische Einschätzung der AI-Bullshitfabrik
Piqd-Kollege Jannis Brühl empfahl gestern einen Artikel von James Vincent auf The Verge, der sich mit der angeblichen Vermüllung des Internets durch generativen AI-Content beschäftigt. Casey Newton schreibt in seinem Blog The Platformer Ähnliches und auch wenn ich das scheinbare Problem einer Flut an synthetischen Inhalten nicht kleinreden möchte, so sehr denke ich, dass das Netz schon seit langem einer Flut maschinenoptimierter und minderwertiger Inhalte ausgesetzt ist. Lustigerweise erschien auf The Verge vor wenigen Tagen erst ein Text genau darüber: Wie das "SEO arms race has left Google and the web drowning in garbage text".
In einem Kommentar unter Jannis' Linkempfehlung schrieb ich noch:
Ja, die Automatisierung des Bullshits ist ein Problem aufgrund einfacher Skalierung, aber ich bin mir mehr als sicher, dass wir genau wie bei SEO-Crap und Spam Mechanismen finden werden und diese die menschliche Konversation im Netz nur am Rande tangieren.
Es ist ein bisschen wie mit der vielbeschriebenen Flut an Desinformation durch die Demokratisierung des Publishing oder die sagenumwobenen Social Bots: Ja, es gibt eine Menge davon und Nein, das meiste davon hat so gut wie keinen Impact.
Anders formuliert: AI senkt nocheinmal die Kosten der Bullshitproduktion, aber die Kosten der Produktion waren nie das Bottleneck, sondern die Distributionskosten, um in Deinen Feed zu gelangen, und dazu braucht es Aufmerksamkeit und die gibt es nur in den allerseltensten Fällen für Bullshit.
Sayash Kapoor und Arvind Narayanan von AI-Snakeoil haben nun für die Columbia Universität einen langen Artikel über den realistischen Impact synthetischer Inhalte in sozialen Medien geschrieben und kommen ebenfalls zu dem Schluß, dass AI zwar die Kosten zur Bullshitproduktion weiter senkt, das Bottleneck zum erfolgreichen Impact aber nach wie vor menschliche Psychologie ist.
Davon ausgehend identifizieren sie Formen von synthetischen Inhalten, deren schädliche Wirkung bereits jetzt zu sehen ist und die auf politische Regulierung drängen: Nichtkonsensuale Deepfakes und Betrugsmaschen mit Voice-Cloning. Bereits jetzt werden Frauen mit synthetischen Nacktbildern unter Druck gesetzt und Rentner mit gefälschten Stimmen um ihre Ersparnisse gebracht. Diese Gefahren sind echt, wirken bereits jetzt, und mimetische Open Source AI-Systeme erzeuge in diesen Fällen tatsächlich neuartige Bedrohungsszenarien.
Ebenfalls erwähnen sie etwa AI-Fotofilter, die jedes Bild in jeder nur erdenklichen Weise mit einem Klick optimieren können bis hin zu einer realistischen Zeitreise in die Teenager-Jahre. Der psychologische Impact solcher demokratisierter Editierungsmöglichkeiten unserer Bildwelten ist bereits abzusehen: Vor einem Jahr piqte ich hier eine Studie darüber, wie Fotofilter heute schon die Zahlen für schönheitschirurgische Eingriffe hochtreiben, da sie die Wahrnehmung des eigenen Gesichts verändern. Die Wirkung von AI-verstärkten, visuellen One-Klick-Wunschmaschinen könnte noch einmal größer ausfallen, grade im Hinblick auf Virtual und Augmented Reality.
Darüber hinaus verschleiert die Debatte über angeblich das Netz vergiftende AI-Inhalte andere ökonomisch-toxische Wirkungen der AI-Entwicklung: Die Illusion kognitiver Algorithmen wird erzeugt durch eine neue Klasse von Arbeitern, die für Hungerlöhne im Ausland die Datensets erstellen, auf denen die neuen Wundermaschinen trainiert werden.
Wir sollten bei den ganzen Warnungen vor einer angeblichen Flut durch AI-erzeugten SEO-Bullshit nicht vergessen, dass SEO-Bullshit und Spam schon immer ein Problem war, aber die menschliche Konversation im Netz nicht wirklich beeinträchtigt hat, und dass die Debatte um diese angebliche Flut die Sicht auf ökonomische Probleme und die subtileren, psychologisch schädlichen Wirkungen verstellt.
The A.I. Dilemma
Tristan Harris -- ehemals "Design Ethicist" bei Google -- und Aza Raskin haben ihre 2021er Dokumentation "The Social Dilemma" (Website zum Film, hier der Trailer) für die mannigfaltigen Probleme aufgebohrt, die durch die Entwicklung und den Einsatz von K.I.-Systemen aufgeworfen werden.
Tristan Harris and Aza Raskin discuss how existing A.I. capabilities already pose catastrophic risks to a functional society, how A.I. companies are caught in a race to deploy as quickly as possible without adequate safety measures, and what it would mean to upgrade our institutions to a post-A.I. world.
Ging es im "sozialen Dilemma" noch um Polarisation, sich stetig verkürzende Aufmerksamkeitsspänne und Empörungskaskaden auf Social Media-Platformen, sind die Stichworte diesmal gleich: Kollaps der wahrgenommenen Realität, vollautomatisierte Hackerangriffe, synthetische emotionale Bindungen, automatisiertes Lobbying oder gleich der Zusammenbruch des Rechtswesens. Und all das nicht etwa, weil K.I.-Systeme damit beginnen, uns alle in Büroklammern umzuformen, sondern vor allem weil K.I.-Systeme die ersten nichtmenschlichen Entitäten sind, die natürlich wirkende Sprache erzeugen können und damit für Algorithmen und Automation ein psychologisches Einfallstor zu unseren gesellschaftlichen und sozialen Mechanismen schaffen.
In einem weiteren Vortrag diskutierten sie diese Themen vor wenigen Tagen weiter: Tristan Harris and Aza Raskin discuss The AI Dilemma.
Noam Chomskys Konsensfabrik im 21. Jahrhundert
Desinformations-Forscherin Renée DiResta vom Stanford Internet Observatory schreibt im Magazin Noéma über Noam Chomskys Manufacturing Consent und wie seine Medientheorie durch das Internet und Social Media unterlaufen wurde.
Chomskys fünf Medienfilter der alten Welt — "ownership, advertising, sourcing, catching flak, and fear" — wurden durch das Netz weitgehend transformiert und oftmals in ihr Gegenteil verkehrt. Die Demokratisierung des Publishing hat die Kosten des Publishing praktisch auf Null gesenkt, Kommerzialisierung der Medien funktioniert oft über Patronage statt Werbung, alte Gatekeeper und Experten wurden weggefegt und sind nur noch eine Stimme unter vielen, "catching flak", also Gegenwind von einflussreichen Teilnehmern, ist in Zeiten des Streisand-Effekts ein sicherer Aufmerksamkeitsgarant und die Möglichkeiten des Fearmongering, also der "Panikmache", sind heute jedem gegeben.
Das Netz hat Platz geschaffen für viele vernetzte Mikro-Öffentlichkeiten, in denen neue, scheinbare Nischen-"Davids" gegen jede Menge "Goliaths" in einer weltweiten Aufmerksamkeitsökonomie kämpfen. Die Folgen sind Hyper-Kontrarianismus, also die Tendenz, von "Media-of-Ones" (Medien-der-Einzelnen) jeder nur erdenklichen Äußerung der "alten Eliten" auf Heftigste zu widersprechen und sie nur und ausschließlich im Kontext der jeweiligen Nischen zu lesen. Daraus werden dann Verschwörungstheorien, in denen etablierte Medien die Öffentlichkeit anlügen und nur der einsame, für sich selbst denkende Streiter die Wahrheit kennt. "Do your research."
Passend hierzu erschien jüngst eine neue Studie, über die ich hier in meinem Newsletter einen längeren Text verfasst habe und die die altbekannte rhetorische Übertreibung im Netz auf einen Nebeneffekt des Online Disinhibition Effects zurückführt: Der ODE beschreibt einen Verlust der Selbstbeherrschung in der Kommunikation online aufgrund fehlender Kommunikationsmittel wie Körpersprache oder Mimik. Genau diese fehlenden Kommunikationsmittel führen aber in einer Aufmerksamkeitsökonomie neben einer Enthemmung der Sprache zu einer Übertreibung der Sachverhalte. Alles ist mindestens "awesome" oder "literally the worst" und Fehlleistungen der Presse nicht mehr "schlampige Berichterstattung unter den Einflüssen der Wirtschaftszwänge im Kapitalismus", sondern bösartige Verschwörungen von Satanisten, die in den Kellern von Pizzerien kleine Kinder essen.
Eine Lösung für das Problem hat DiResta nicht. Sie schreibt davon, dass Transparenz der neuen ökonomischen Modalitäten und ihre Folgen für Publisher – damit meine ich nicht Verlage, sondern praktisch: alle – ausreichen könnte, um die Öffentlichkeit im Hinblick auf hyperbolische Einzelkämpfer mit Millionen-Followern auf Twitter vorsichtiger zu machen. Möglicherweise hat sie damit langfristig Recht, schließlich zeichnet sich bereits ein gewisser Gewöhnungseffekt ab, grade im Hinblick auf die Kulturkämpfe seit 2015.
Andererseits glaube ich weder, dass eine Gewöhnung an Internet-Outrage ein ausreichendes Mittel ist, fragmentierte Öffentlichkeiten wieder in einer zivilisatorischen Gemeinsamkeit zu vereinen, noch dass diese fragmentierte Öffentlichkeit besonders neu ist. Neu ist nur, dass wir nun in der Breite sehen können, dass unsere Nachbarn tatsächlich ganz anders denken als wir, und dass wir das öffentlich kommentieren und bewerten können.
Ein Plädoyer für das Verbot von Smartphones an Schulen
Seit einigen Jahren schon streite ich gegen die Digitalisierung der Bildung. Ich habe nichts gegen Laptops und Smartphones in höheren Klassen und Universitäten, allerdings hat digitales Gerät in den formativen Jahren der Grundschulbildung und darüber hinaus nicht nur meines Erachtens eine fatale Wirkung auf die geistige Entwicklung der Kids, der Einsatz digitaler Werkzeuge im Unterricht steht nachgewiesenermaßen dem grundsätzlichen Bildungsauftrag der Schulen im Wege.
Jonathan Haidt, über dessen jüngere Arbeit ich hier auf piqd regelmäßig berichte und der meine Haltung teilt, hat im Atlantic nun ein langes Plädoyer für ein Verbot von Smartphones an Schulen geschrieben. In seinem Blog auf Substack gibt es eine noch etwas längere Version des Textes mit zusätzlichen Links zu wissenschaftlichen Studien, die seine Thesen untermauern.
Ich kenne diese und andere Studien und die wissenschaftlichen Ergebnisse sind eindeutig, vor allem was den Bildungsauftrag angeht: Lesen und Schreiben mit digitalem Gerät erzeugt verminderte Gehirnaktivität. Der Grund ist einfach: Beim Lesen und Schreiben mit haptischen, physikalisch ertastbaren Werkzeugen im Meatspace stimuliert Gehirnareale der räumlichen Wahrnehmung, was das Gelernte im Gedächtnis verankert. In digitalen Umgebungen fällt dieser Stimulus nahezu komplett weg, es gibt keine Verbindung zwischen dem geschriebenen Wort und den motorischen Funktionen des Gehirns, oder den gelesenen Screen-Inhalten und der räumlichen Wahrnehmung, wie bei handschriftlicher Notation auf Papier, respektive dem haptischen Lesen in einem gedruckten Buch, und das Gelernte wird schneller vergessen.
Vor einigen Jahren saß ich auf einer Insel in Griechenland und unterhielt mich mit einem Lehrer aus Holland, an dessen Schule digitales Gerät auch in unteren Klassen eingesetzt wurde. Er schüttelte nur den Kopf und sagte, das sei alles eine Katastrophe und die Lernleistung der Kinder habe alleine in den letzten Jahren spürbar nachgelassen. Nur eine kleine Annekdote mit ägäischem Sonnenuntergang zur Bewürzung der grade geschilderten wissenschaftlichen Studien.
Alleine aus diesem Grunde, nämlich dass digitale Umgebungen das eigentliche Bildungsziel – zur Erinnerung: Lernen – untergräbt, sollten meines Erachtens zumindest in unteren Jahrgangsstufen auf digitale Werkzeuge komplett verzichtet werden. Denkbar sind freilich eigene digitale Unterrichtseinheiten zur Ausbildung von Medienkompetenz, aber das ist etwas qualitativ völlig anderes als der Einsatz von Digitalem als Schreib- und/oder Lese-Werkzeug.
Obendrauf folgen nun die obligatorischen Socmed-Warnungen: Soziale Medien sind einer der Hauptgründe für eine Depressions-Epidemie unter vor allem jungen Mädchen, neuere Studien finden einen Zusammenhang zwischen dem Alter, in dem Kinder ein Smartphone erhalten, und ihrer späteren geistigen Gesundheit – desto jünger im Digitalen, umso labiler später im Leben –, Social Media verändert die psychische Entwicklung von Kids, usw. usf. Solange Smartphones an Schulen erlaubt sind, solange sind alle diese Wirkungen bis in den Unterricht selbst spürbar und relevant.
Ich denke, soziale Medien sind psychoaktive Drogen, die unseren dopaminerg-oxytocinetischen Hormonhaushalt einer bewusst-selbstmanipulativen Umgebung aussetzt – deutlich: Man schickt sich mit Social Media auf einen Trip, aber nicht kognitiv, sondern sozial. Auf die Gefahr hin, wie der zornige alte Mann zu klingen, der ich bin: Solches Zeug hat an Schulen nichts zu suchen.
Wenn Eltern ihrem Kleinkind ein Smartphone schenken möchten – bittesehr. Wenn es dann später Artikel wie diesen hier liest, kann es seinen Eltern die Selbstbeteiligung für den Therapeuten ja in Rechnung stellen.