Go to main content

Wir müssen über Sprachmodelle reden

Published on
Author
Jens Kipper
Tag
Technology

Sprachmodelle werden unsere Gesellschaft auf die ein oder andere Weise nachhaltig verändern, schreibt Jens Kipper. Wir sollten jetzt darüber reden, wie wir diesen Veränderungen begegnen wollen.

ChatGPT wurde am 30. November 2022 veröffentlicht. Zwei Monate später hatte der von OpenAI entwickelte Chatbot bereits 200 Millionen Nutzer, was ihn zur am schnellsten wachsenden Nutzeranwendung aller Zeiten macht. ChatGPT hat viele Gemeinsamkeiten mit anderen modernen KIs. Nehmen wir zum Beispiel AlphaGo, das im Jahr 2016 für Schlagzeilen sorgte, als es einen der stärksten Spieler aller Zeiten im Brettspiel Go schlug. Sowohl bei AlphaGo als auch bei ChatGPT handelt es sich um künstliche neuronale Netze, die durch maschinelles Lernen mittels großer Datenmengen trainiert wurden.* Eine weitere Gemeinsamkeit besteht darin, dass beide KIs „Vorhersagemaschinen“ sind. Aber daraus, was sie vorhersagen, ergeben sich einige schwerwiegende Unterschiede. AlphaGo hat im Laufe seines Trainings gelernt, Go-Züge vorherzusagen – zunächst die menschlicher Spieler, später dann die Züge, die es selbst nach gründlicher Berechnung spielen würde. ChatGPT hingegen sagt Wörter vorher.

Leistungsfähigkeit trifft Unzuverlässigkeit

Sprachmodelle wie ChatGPT funktionieren nach einem verblüffend einfachen Prinzip: Gibt man ihnen eine Textsequenz, dann können sie angeben, welches Wort mit welcher Wahrscheinlichkeit als nächstes kommt. Wenn man nun ein vorhergesagtes Wort der ursprünglichen Textsequenz hinzufügt, die neue Sequenz erneut dem Sprachmodell vorsetzt und dann diesen Prozess oft genug wiederholt, ergibt sich ein vollständiger Text. Die Fähigkeit, Wörter vorherzusagen, versetzt Sprachmodelle also in die Lage, zusammenhängende Texte zu erstellen. Daraus ergibt sich wiederum eine riesige Bandbreite an Fähigkeiten. Denn diese Texte können von jedem erdenklichen Thema handeln und in jedem erdenklichen Stil verfasst sein. Da sich zudem die allermeisten Probleme sprachlich formulieren lassen, können Sprachmodelle prinzipiell auch komplexe Probleme lösen. Das Nachfolgemodell von ChatGPT, GPT-4, schneidet beispielsweise in einer Reihe standardisierter Tests und in Uni-Prüfungen in diversen Fächern besser als die meisten Prüflinge ab.

Moderne Sprachmodelle können Texte zusammenfassen, übersetzen, Gedichte schreiben, sie können selbst komplexe Zusammenhänge aus allen Wissensbereichen erklären, programmieren (denn auch Computercode ist Text) und vieles mehr. AlphaGo hingegen kann nichts anderes als Go spielen.

AlphaGo hat seine Fähigkeit, Go-Züge vorherzusagen, im Laufe von etlichen Millionen Partien erworben, die es gegen sich selbst gespielt hat. Da Go klare Regeln und ein klar definiertes Ziel hat, wurde das Programm dabei zugleich immer besser darin, die tatsächlichen Erfolgschancen eines Zuges zu bestimmen. Wenn AlphaGo in einer Go-Stellung einen Zug vorschlägt, kann man daher ziemlich sicher sein, dass es sich um einen guten oder sogar den bestmöglichen Zug handelt. Die Fähigkeit von ChatGPT und anderen Sprachmodellen, Wörter vorherzusagen, ist hingegen nicht unbedingt mit Wahrhaftigkeit verbunden. Denn die Texte, auf deren Basis ChatGPT trainiert wurde, können Vorurteile, bewusste Falschinformationen oder auch einfach Fehler beinhalten. Anders ausgedrückt, kann von Menschen erwartet werden, dass sie in bestimmten Situationen die Unwahrheit sagen, und das spiegelt sich in ChatGPTs Texten wider. So ist ChatGPT bekannt dafür, gelegentlich zu „halluzinieren“ und Quellenangaben, Ereignisse usw. einfach zu erfinden. Dadurch, was es vorhersagt, ist ChatGPT also zum einen weitaus leistungsfähiger als AlphaGo und zum anderen weitaus unzuverlässiger. Aus dieser Kombination ergeben sich eine Reihe bedeutender gesellschaftlicher Herausforderungen. Diese betreffen unter anderem den Einfluss von Sprachmodellen auf die Verbreitung von Fehlinformationen sowie auf den Arbeitsmarkt.

Es gibt Anzeichen dafür, dass mit der Leistungsfähigkeit von Sprachmodellen auch ihre Zuverlässigkeit wächst. Dennoch ist es momentan eine offene Frage, ob sich das Problem der Halluzinationen von Sprachmodellen vollständig lösen lässt. Und selbst dann, wenn leistungsfähige Sprachmodelle prinzipiell dazu gebracht werden können, zuverlässig die Wahrheit zu sagen, können sie zweifellos ebenso dazu gebracht werden, Unwahrheiten zu produzieren.

Die Idee liegt nahe, in dieser Krise Feuer mit Feuer zu bekämpfen.

Da Sprachmodelle in kurzer Zeit große Textmengen erstellen können und sich zudem ein Sprachmodell millionenfach vervielfältigen lässt, sind sie geradezu ideal dafür geeignet, in großem Maßstab politische Propaganda und Fehlinformationen zu verbreiten. Je leistungsfähiger Sprachmodelle werden, desto besser werden sie beispielsweise auch darin, in sozialen Medien bestimmte politische Ideologien überzeugend zu verteidigen und desto schwieriger wird es, ihre Beiträge von denen menschlicher Nutzer zu unterscheiden. Sprachmodelle haben also das Potenzial, die heutige „Desinformations-Krise“ in unserer Gesellschaft noch einmal deutlich zu verschärfen.

Die Idee liegt nahe, in dieser Krise Feuer mit Feuer zu bekämpfen. Sprachmodelle könnten zur automatisierten Faktenprüfung eingesetzt werden, um Fehlinformationen entgegenzuwirken, oder dazu, in großem Maßstab „Gegenpropaganda“ zu verbreiten. Es ist zu befürchten, dass das zu einer Art Rüstungswettlauf führen würde, mit dem Effekt, dass ein Großteil der Inhalte auf sozialen Medien und in anderen Internetmedien nicht mehr von Menschen verfasst wurde. Um das zu verhindern, müssen Maßnahmen ergriffen werden, die der massenweisen Anwendung von Sprachmodellen in sozialen Medien und anderswo entgegenwirken zu können. Wahrscheinlich wird es dabei auch gesetzlicher Regulierungen bedürfen. Beispielsweise könnten Entwickler und Nutzer für die Verbreitung von Inhalten, die von Sprachmodellen generiert wurden, haftbar gemacht werden. Darüber hinaus könnten etwa die Betreiber sozialer Netzwerke dazu verpflichtet werden, die Verbreitung solcher Inhalte zu verhindern. Damit solche Maßnahmen Erfolg haben können, müssten allerdings erst Technologien entwickelt werden, um die Verwendung von Sprachmodellen zu erkennen und zu unterbinden.

Effizienzsteigerung oder Jobbedrohung?

In den letzten Jahren und Jahrzehnten ist die Zahl der Bürojobs, einschließlich Homeoffice, rasant gestiegen. Eine Studie des Industrieverband Büro und Arbeitswelt aus den Jahren 2019/20 kommt zu dem Ergebnis, dass 59% der erwerbstätigen Deutschen vorwiegend im Büro arbeiten. Ein Großteil dieser Jobs umfasst in erster Linie sprachliche Aufgaben, wie die Kommunikation mit Kollegen und Kunden, das Lesen und Erstellen von Texten, Dateneingabe und -pflege, Programmieren usw. Es liegt nahe, zu fragen, wie viele dieser Jobs durch die Entwicklung von Sprachmodellen bedroht sind. Oft wird gesagt, dass Sprachmodelle und andere KIs menschliche Arbeit nicht ersetzen, sondern lediglich ergänzen werden. Diese Annahme lässt sich allerdings bezweifeln. Nehmen wir zunächst einmal an, dass menschliche Arbeitnehmer vermehrt Sprachmodelle als Assistenten verwenden. Dadurch könnten sie ihre Produktivität deutlich steigern. Beispielsweise geben heute schon viele Programmierer an, dass sie dank digitaler Assistenten um ein Vielfaches produktiver geworden sind. Wenn sich also z.B. die Produktivität eines durchschnittlichen Bürojobbers verdoppelt, bedeutet das einfach, dass dieselben Aufgaben nun von halb so vielen Angestellten bewältigt werden können. Aus Sicht der Unternehmen ist da die Versuchung groß, in großem Stil Stellen abzubauen. Dazu kommt, dass sich Sprachmodelle nicht unbedingt nur als Assistenten eignen. In naher Zukunft (wenn nicht sogar schon jetzt) könnten sie in der Lage sein, eine große Menge von Aufgaben, die in Bürojobs anfallen, selbständig zu bewältigen.

Sprachmodelle und KI im Allgemeinen haben auch das Potenzial, ungeheuren Wohlstand zu produzieren.

Die Entwicklung von KI wird häufig mit der Entwicklung anderer Technologien verglichen. In der Gesamtbilanz haben neue Technologien sehr selten zur Verringerung von Arbeitsplätzen geführt. Häufig sind zwar bestimmte Berufsgruppen geschrumpft oder sogar ganz verschwunden, dafür sind aber andere Berufsgruppen gewachsen oder es sind sogar ganz neue Berufe entstanden, wodurch der Verlust an Arbeitsplätzen mehr als ausgeglichen wurde. Diese neu entstandenen Jobs waren oft sogar von höherer Qualität als die vorherigen, in dem Sinne, dass sie weniger monotone und körperliche belastende und stattdessen kognitiv anspruchsvollere Aufgaben umfassten. Menschliche Arbeitskräfte konnten also in diejenigen Aufgabenfelder ausweichen, in denen sie einen natürlichen Vorteil gegenüber Maschinen hatten. Der entscheidende Unterschied zwischen KI und anderen Technologien besteht nun darin, dass KIs uns genau diese Aufgabenfelder streitig machen. Denn KIs sind in der Lage, kognitiv anspruchsvolle Aufgaben zu bewältigen und sie werden immer besser darin, immer mehr solcher Aufgaben zu übernehmen. Sprachmodelle sind ein gutes Beispiel dafür. Wenn sich daher Sprachmodelle sowie andere KIs im momentanen Tempo weiterentwickeln, dann legt das nahe, dass es in relativ naher Zukunft nicht mehr genügend Aufgaben gibt, die Menschen besser als Maschinen beherrschen. Und wenn eine Maschine eine bestimmte Aufgabe so gut wie ein Mensch bewältigen kann (wobei ich hier offenlassen will, auf welche jobrelevanten Aufgaben das heute schon zutrifft), dann kann sie es normalerweise deutlich schneller, billiger und in größerem Umfang als ein Mensch. KIs stellen hierbei keine Ausnahme dar. Es ist daher zu erwarten, dass es weniger Bedarf für menschliche Arbeitskraft geben wird.

Das wird unsere Gesellschaft einschneidend verändern. Aber diese Veränderungen müssen keineswegs katastrophal sein. Denn Sprachmodelle und KI im Allgemeinen haben auch das Potenzial, ungeheuren Wohlstand zu produzieren. Die Herausforderung wird daher darin bestehen, sicherzustellen, dass dieser Wohlstand nicht nur einer kleinen Personengruppe zugutekommt, die diese KI entwickelt oder kontrolliert, sondern allen. Beispielsweise wird in diesem Zusammenhang oft über ein bedingungsloses Grundeinkommen gesprochen. Der Einwand, der momentan am häufigsten gegen ein solches Grundeinkommen vorgebracht wird, ist, dass es den Anreiz zu arbeiten senke. In dem hier diskutierten Szenario, in dem es einfach nicht mehr genügend Arbeitsstellen gibt, greift dieser Einwand jedoch nicht. In diesem Szenario könnte ein bedingungsloses Grundeinkommen oder vergleichbare Maßnahmen einfach notwendig zu sein, um Massenarmut zu verhindern.

Sprachmodelle werden unsere Gesellschaft auf die ein oder andere Weise nachhaltig verändern. Wir sollten jetzt darüber reden, wie wir diesen Veränderungen begegnen wollen.

 

*Der Vollständigkeit halber sei erwähnt, dass AlphaGo noch eine zweite Komponente hat (nämlich eine Suchfunktion), die weder auf einem neuronalen Netz noch auf maschinellem Lernen beruht.

Tag
Technology

Contact

Contact us:

For more information how to publish with FMP, see here.