Simulations of Stochastic Parrots
The bird is the word.
I first published this piece on the german expert platform Piqd, find an edited english machine translation below.
Against AI-Hype: Emily M. Bender im Portrait
Eine der bekanntesten wissenschaftlichen Veröffentlichungen im Feld der KI-Forschung der vergangenen Jahre ist, neben dem bahnbrechenden Paper "Attention if all you need", das mit der Transformer-Technologie das Fundament für praktisch alle modernen AI-Systeme wie GPT3 und dessen prominente Anwendungen ChatGPT und Bing Chat legte, der Artikel "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" von Emily M. Bender et al.
In diesem Artikel warnt sie vor den Gefahren von KI-Systemen, die menschliche Kommunikation zu gut simulieren können, insbesondere vor dem Risiko substanzieller Nachteile durch Stereotypisierungen, Diskriminierung, der Zunahme extremistischer Ideologien oder gar ungerechtfertigter Verhaftungen dadurch, dass Menschen scheinbar kohärenten Output eines Language Models für die Sprache eines Menschen oder einer Organisation halten, die im rechtlichen Sinne zurechnungsfähig und verantwortlich sind und Haftung für ihre Kommunikation übernehmen. Die Wortschöpfung "Stochastic Parrot" wurde zur Meme, ist Teil des amüsanten AI Consciousness Argument Bingo, während Sam Altman, CEO von OpenAI, jüngst behauptete: "I am a stochastic parrot, and so r u" (Nein, sind wir nicht.) -- und vor wenigen Wochen erzeugte ich mit ChatGPT einen Remix, in dem der stochastische Papagei seinen Auftritt im wohl bekanntesten Monty Python-Sketch hat: "I'm a dead stochastic parrot, Mr. Jones". Für einen fiktiven Vogel aus Silizium: Nicht schlecht.
Elizabeth Weil hat nun für NYMags Intelligencer ein langes Portrait über Emily M. Bender geschrieben, die neben ihrer Tätigkeit als AI-Ornitologin als Professorin für Linguistin an der Universität Washington lehrt und mit zu den prominentesten Stimmen der AI-Skeptiker zählt, neben Gary Marcus, den ich Anfang Januar in einem Piq vorstellte.
Please do not conflate word form and meaning. Mind your own credulity. These are Bender’s rallying cries.
Ihre AI-Kritik ist eine psychologische Kritik der Auswirkungen mimetischer AI-Systeme auf unsere Wahrnehmung von Kommunikation: Künstliche Intelligenzen besitzen keine koheränten Modelle ihrer Umgebung, es sind Software-Module, die statistische Wahrscheinlichkeiten über die Verbindungen von Worten berechnen und damit Simulacren im Sinne von Jean Baudrillard produzieren. Zeichen besitzen eine äußere Ausdrucksseite, den Signifikant, also die Form des Zeichens, und ein Signifikat, das Bezeichnete: die Inhaltsseite eines Zeichens. ChatGPT hat keinerlei Ahnung von Signifikaten, von irgendwelchen Inhalten, und der generierte Output sind Zeichen, die sich auf sich selbst beziehen, nicht auf irgendeine Bedeutung. Die Debatten um ein angebliches Bewusstsein dieser statistischen Modelle schließen den Kreis und bilden das Simulacrum, "the truth which conceals that there is none. The [parrot] is true."
Das Digitale bedeutet in meinen Augen die konkrete, reale Anwendung postmoderner Theorien, die Auflösung von Bedeutung in einem Sturm der Zeichen, und es ist gut, in Zeiten der gelebten Simulacren Stimmen wie die von Emily M. Bender zu haben, die sich gegen den allgegenwärtigen AI-Hype stemmen und uns immer wieder auf den Boden der Tatsachen zurückholen, ganz egal wie überzeugend Simulationen menschlicher Kommunikation durch statistische Modelle und stochastische Bibliotheken heute schon sind.
Marc Andreessen investierte vor wenigen Tagen 250 Millionen Dollar in das Unternehmen Character.AI, eine Plattform zur Simulation von Prominenten und fiktiven Figuren aus Zeitgeschichte und Kultur. Das ist eine ganze Menge Geld für bessere Tamagochis, deren einzige Bedeutung darin besteht, eine Projektionsfläche für unsere eigene Pareidolie zu sein: wir sehen Charaktere, wo tatsächlich nur stochastische Muster sind, die sich entlang von statistischen Wahrscheinlichkeiten verteilen, berechnet von einem Haufen Silizium, der zwar weiß, dass Hund und Katze oft im selben Satz vorkommen, aber keine Ahnung vom Sound des Bellens hat, oder wie es sich anfühlt, wenn eine Katze um die Beine streicht.
Emily M. Benders Stochastische Papageien eben, die Simulacren erzeugen: leere Zeichen ohne Bezeichnetes.
The Bird is the word
The Trashmen sang about Stochastic Parrots before it was cool: “The bird is the word“.
English
Against AI-Hype: A portrait of Emily M. Bender
One of the most well-known scientific publications in the field of AI research in recent years, alongside the groundbreaking paper "Attention is all you need," which established the foundation for virtually all modern AI systems such as GPT3 and its prominent applications ChatGPT and Bing Chat with Transformer technology, is the article "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" by Emily M. Bender et al.
In this article, she warns of the dangers of AI systems that can simulate human communication too well, particularly the risk of significant disadvantages due to stereotyping, discrimination, the increase of extremist ideologies, or even unjustified arrests resulting from humans mistaking the seemingly coherent output of a language model for the language of a human or organization that is legally capable and responsible and liable for their communication. The term "Stochastic Parrot" became a meme and is part of an amusing AI Consciousness Argument Bingo, while Sam Altman, CEO of OpenAI, recently claimed, "I am a stochastic parrot, and so are u" (No, we're not.) -- and a few weeks ago, I created a remix with ChatGPT in which the stochastic parrot makes an appearance in the most famous Monty Python sketch: "I'm a dead stochastic parrot, Mr. Jones." Not bad for a fictional silicon bird.
Elizabeth Weil now has written a long portrait for NYMag's Intelligencer about Emily M. Bender, who, in addition to her work as an AI ornithologist, teaches as a professor of linguistics at the University of Washington and is one of the most prominent voices of AI skepticism, along with Gary Marcus, whom I introduced in a post at the beginning of January.
Her AI criticism is a psychological critique of the effects of mimetic AI systems on our perception of communication: artificial intelligences do not have coherent models of their environment; they are software modules that calculate statistical probabilities of word connections, thus producing simulacra in the sense of Jean Baudrillard. Symbols have an external expressive side, the signifier, which is the form of the sign, and a signified, the content side of that symbol. ChatGPT has no idea about signifieds or any content, and the generated output are symbols that solely refer to themselves, not any meaning. The debates about some alleged consciousness of these statistical models close the circle and form the simulacrum, "the truth which conceals that there is none. The [parrot] is true."
In my opinion, the digital realm is the concrete, real-world application of postmodern theories, the dissolution of meaning in a storm of signs, and it is good to have voices like Emily M. Bender's in times of lived simulacra, who resist the ubiquitous AI hype and repeatedly bring us back down to earth, no matter how convincing simulations of human communication through statistical models and stochastic libraries already are.
Marc Andreessen recently invested $250 million in the company Character.AI, a platform for simulating celebrities and fictional figures from contemporary history and culture. That's a lot of money for better Tamagochis whose only meaning is to be a projection surface for our own pareidolia: we see characters where there are actually only stochastic patterns that are distributed along statistical probabilities calculated by a bunch of silicon that knows that the words ”dog” and ”cat” often appear in the same sentence, but has no idea about the sound of barking or what it feels like when a cat rubs against your legs.
Emily M. Bender's Stochastic Parrots, then, which create nothing but simulacra: empty symbols without the signified.
Das Häufchen Silizium hat keine Ahnung wie es sich anfühlt wenn die Katze einem um die Beine streicht, kann es aber sehr gut wiedergeben - wird beim Lesen eines Simulationsgoodinterneteintrags zum Thema Katzenfeelings, wird/kann eine simulierte Reaktion hervorgebrachtwerden, die stochastisch überzeugen kann ?