Large Language Models und ihre WEIRDen Konsequenzen
/0 Kommentare/von Jörg LehmannIn seinem Buch „The Weirdest People in the World“ („Die seltsamsten Menschen der Welt“) widmet sich der Evolutionspsychologe Joseph Henrich einer besonderen Spezies, die er „WEIRD people“ nennt. Dieses Wortspiel lässt sich insofern auflösen, als WEIRD für „white, educated, industrialised, rich, democratic“ steht. Henrich fragt sich hier, wie es dazu kommen konnte, dass ein kleiner […]
Hungrige Magie
/0 Kommentare/von Jörg Lehmann„Any sufficiently advanced technology is indistinguishable from magic“, wußte schon Arthur C. Clarke, und es gehört zum Zauber neuer Technologien, dass ihre Kehrseiten systematisch beschwiegen werden. So ist es auch mit dem Energieverbrauch von großen Sprachmodellen (LLMs): Wie beim Schnitzel, das auf dem Teller der Verbraucher:innen landet und den Zusammenhang zu den Realitäten der Massentierhaltung […]
Den Kuckuck füttern
/0 Kommentare/von Jörg LehmannLarge Language Models (LLMs) kombinieren Wörter, die im Trainingsdatensatz häufig in ähnlichen Zusammenhängen auftauchen; auf dieser Grundlage sagen sie das wahrscheinlichste Wort bzw. den wahrscheinlichsten Satz vorher. Je größer der Trainingsdatensatz ist, desto mehr Kombinationsmöglichkeiten gibt es, und desto ‚kreativer‘ wirkt das Modell. Die schiere Größe von Modellen wie GPT-4 stellt aber bereits einen schwer […]