GPT: Eine Software, die die Welt verändert

GPT-3 ist eine jener Entwicklungen, die binnen weniger Monate an Einfluss und Reichweite zulegen. Die Software wird sich massiv auf Ökonomie und Gesellschaft auswirken.

GPT-3 ist die Abkürzung für Generative Pretrained Transformer, Version 3. Entwickelt wurde sie von dem Non-Profit-Unternehmen OpenAI Inc., das die gewinnorientierte Tochterfirma OpenAI LP kontrolliert. Geld- und Ideengeber für die Firma war zum einen Elon Musk, der sich 2018 wegen seines Interessenkonfliktes mit der Entwicklung einer KI bei Tesla aus der Leitung von OpenAI verabschiedete. Der andere Geldgeber, Microsoft, „spendete“ 2019 eine Milliarde US-Dollar für die Entwicklung und sicherte sich im September 2020 die alleinigen Rechte an GPT-3. Damit ist zumindest klar, wer langfristig profitiert.

Das Programm hat die besten Aussichten, ein Google- ähnliches Monopol aufzubauen. Dass das Programm erheblich zum Gemeinwohl beitragen könnte, ist zweifellos richtig. Doch das setzt voraus, dass die Tochter nicht das, was die Mutter großzügigerweise für den öffentlichen Sektor entwickelt hat, im nächsten Zug als Datenzuliefer- und Testmaschine für die „eigentlichen“ Anwendungen missbraucht.

Wichtig zu verstehen ist, dass das System weder jedes Mal denselben Essay schreibt noch über „Cut and Paste“ fertige „Satzbauteile“ neu zusammenstellt. Das Verfahren ist vollkommen anders.

Grob gesagt werden Wörter als Zahlenreihen dargestellt. Diese sogenannten Embeddings, etwa für das Wort „New“, hängen mit anderen Embeddings mit einer gewissen Wahrscheinlichkeit zusammen etwa mit „York“.

Der Trick ist also zu berechnen, welches nächste Wort folgt. Der Wahrscheinlichkeitsraum mit rund 175 Milliarden Parametern wird nun für jedes Wort reduziert und ein Satz im jeweiligen Kontext berechnet. Dies ist die Leistung eines neuronalen Netzes, das zwar (noch!) nicht an das Weltwissen des Internet „angeschlossen“ ist, aber über 45 Terabyte Daten verfügt. Das entspricht einem Textkorpus von etwa einer Billion Wörtern. An die Satzausgabe angeschlossen ist ein Übersetzungsmodul, das den Text in beliebigen Sprachen ausgibt.

Es ist daher dringendst notwendig, rechtliche Bestimmungen für die Verwendung künstlicher Daten, Texte und Programme zu entwickeln – und dafür, wann und wie GPT-3-ähnliche Systeme in Ausbildung, Studium und Wirtschaft eingesetzt werden dürfen. Was uns bevorsteht ist, ohne in den üblichen Science-Fiction-Modus zu verfallen, eine Neuordnung dessen, was Kreativität und Lernen überhaupt bedeutet: am Buchmarkt ebenso wie in der Wissenschaft, in Unternehmen und im Alltag.Ein Hauptproblem wird sein, die Unmenge neuer, künstlich geschaffener Daten kenntlich zu machen. Denn „herkömmliche“ KI-Systeme, die bereits weltweit Verwendung finden, werden mit Hilfe von Big Data aus dem Netz trainiert. Werden diese Systeme mit synthetischen Daten und unüberprüften GPT-3-Fakes angelernt, kann dies erheblichen Einfluss haben auf die Entscheidungsprozesse und den Output anderer KIs. von Gert Scobel