OMR and the machine: Ist GPT-3 heiße Luft oder eine AI-Revolution? Wir haben’s ausprobiert

1. Schon von GPT-3 gehört oder gelesen?
2. Was macht GPT-3 – und was macht das System mit uns?
3. Go Transformer, go!
4. „OpenAI“, aber „closed API“
5. Wie teuer wird die Nutzung sein?
6. Welche Sprache spricht GPT-3?
7. Unser erster Dialog mit KI: Was ist Online Marketing?
8. „Temperatur“ anstelle von Stil
9. Zu viel Meinung, zu wenig Fakten?
10. „Online Marketing is a waste of time“
11. GPT-3 enters the chat

In der Tech-Welt ist es eines der meistbeachteten und -diskutierten Themen: das auf künstlicher Intelligenz basierende Sprachmodell GPT-3. Der sogenannte Transformer soll u.a. geistig anspruchsvolle Texte eigenständig verfassen können. Wird also bald ein Großteil des Contents in der digitalen Sphäre mit solchen Technologien automatisiert erstellt? Bislang ist GPT-3 nicht für die Allgemeinheit nutzbar; Autor und Sprachkritiker Peter Littger hat jedoch einen Zugang erhalten. Für OMR schildert er in einem zweiteiligen Artikel seine Eindrücke davon, wie fortgeschritten die Technologie ist – und wie sie die Medien- und Marketingwelt verändern könnte. Teil 1 lest Ihr heute, Teil 2 am kommenden Donnerstag.

Schon von GPT-3 gehört oder gelesen?

2020 war ein Jahr der kryptischen Namen und Nachrichten. Neben Covid-19, Space X (Elon Musks Weltraumprogramm) und X Æ A-Xii (Elon Musks Sohn) hat das Akronym GPT-3 unser besonderes Interesse geweckt. Der Name steht für „Generative Pre-Trained Transformer“. Als Laien erlauben wir uns von einem Supercomputer zu sprechen, der selbständig dichten und womöglich auch denken kann! Seit seinem Go-live im Mai 2020 hat er viele Menschen mit seinen Fähigkeiten überrascht und nicht wenige – vor allem Autoren – beunruhigt. Am Rande sei bemerkt, dass Elon Musk 2015 auch OpenAI mitgegründet hat, die kalifornische Entwicklungsfirma von GPT-3. Weil Tesla ebenfalls an eigenen künstlichen Intelligenzen arbeitet, hat Musk inzwischen den OpenAI-Beirat verlassen, um Interessenskonflikte zu vermeiden.

Über-Unternehmer Musk hat mehrfach darauf hingewiesen, welche Gefahren künstliche Intelligenz für Menschen birgt. Im Jahr 2017 bezeichnete er AI beispielsweise als „fundamentale Existenzbedrohung für die menschliche Zivilisation“. Im selben Jahr veröffentlichte die Unternehmensberatung McKinsey eine Studie, die vorhersagt, dass bis zum Jahr 2030 zwischen 400 und 800 Millionen Menschen durch Automatisierung ihren Job verlieren.

Was macht GPT-3 – und was macht das System mit uns?

Ist GPT-3 nun der Schneeball, der die Automatisierungslawine in unserem Joballtag lostritt? Die Technologie soll jedenfalls etwas wirklich Neues bieten und sein: Kein Textgenerator, der mit vorgefertigten Sätzen und Absätzen arbeitet, um nach festen Mustern zum Beispiel Wetter-, Börsen- oder Verkehrsberichte auszuwerfen, sondern ein sogenanntes künstliches neuronales Netzwerk (kurz: ANN), das angeblich Sinnzusammenhänge und menschliche Denk- und Argumentationsmuster reproduzieren kann, um eigenständig Texte und Programmiercodes zu generieren.

Mithilfe einer riesigen Wissensbasis (in der die vollständige englischsprachige Wikipedia weniger als ein Prozent ausmacht) liegt die Hauptleistung in einer rasanten Machine-Learning-basierten Berechnung und Kombination von Wahrscheinlichkeiten: des nächsten Wortes, des nächsten Satzes oder Absatzes. Gleichzeitig meistert der Transformer die Komposition von Sprache durch das sogenannte Natural Language Processing NLP (nicht zu verwechseln mit der pseudowissenschaftlichen Methode NLP: Neuro-linguistic programming).

Go Transformer, go!

Redaktionen und einzelne Nutzer haben in den vergangenen Monaten viele Versuche unternommen, den praktischen und intellektuellen Nutzen von GPT-3 öffentlich unter Beweis zu stellen: in zahlreichen Sprachen (aber vor allem in der englischen), aus allen möglichen Perspektiven (zum Beispiel als Goethe), in verschiedenen Textformaten (Interviews, YouTube Shows, Drehbücher, literarische Parodien – und nicht zuletzt Programmiercodes) und das alles zu den unterschiedlichsten Themen.

Furore machte ein längerer Essay, der Anfang September im britischen Guardian erschien. Darin bekam GPT-3 die Gelegenheit, sich in Ich-Form selbst zu thematisieren, um zu erklären, warum die Menschheit keinen Anlass zur Sorge vor der Maschinenkonkurrenz habe. Der Text verblüffte mit seiner Neuartigkeit genauso wie mit stilistischer Qualität. Unter dem Artikel erklärte die Redaktion des Guardian, dass man den Text zwar leicht redaktionell bearbeitet habe (weil aus mehreren Version zusammengesetzt), dies jedoch weniger zeitaufwendig gewesen sei als mit Texten menschlicher Redakteure.

Vor allem diese Notiz hat uns neugierig gemacht: Können auch wir künftig einen großen Teil unserer Inhalte mit künstlicher Intelligenz erstellen? Und kann GPT-3 schon heute Marketingtexte, schneller, günstiger und besser erstellen als jeder Mensch?

„OpenAI“, aber „closed API“

Wir wollen den Test machen! Aber das ist leichter gesagt als getan: Für GPT-2, die vorherige Version des Transformers, stellte OpenAI noch einen offenen Zugang zur Verfügung, den weiterhin jeder nutzen kann. Für GPT-3 wurde eine geschlossene Schnittstelle (API) eingerichtet, deren Nutzung eine Bewerbung bei OpenAI voraussetzt. Dass dies nichts mit „open“ zu tun hat, muss an anderer Stelle diskutiert werden.

OpenAI begründet die Zugangsbeschränkung in einem wissenschaftlichen Papier (ab Seite 34) mit dem Missbrauchspotenzial. Schließlich könnten Nutzer auf die Idee kommen mit GPT-3 falsche oder politisch extremistische Aussagen in Serie zu fabrizieren, einen Amoklauf zu planen oder einen Selbstmord zu begründen. API-Anwendungen, die zum Beispiel medizinische (Eigen-) Diagnosen oder therapeutisch-pharmakologische Anfragen erfordern, werden von OpenAI von vorne herein abgelehnt.

Wie teuer wird die Nutzung sein?

Inoffiziell, das muss allerdings auch gesagt werden, ist es für OpenAI mit Hilfe der API leichter, das angekündigte Bezahlmodell für GPT-3 zu realisieren. Als im vergangenen Herbst die ersten Preismodelle öffentlich wurden, zeigten sich diverse Branchenvertreter ob deren Höhe erstaunt. Ob das Bezahlmodell noch mit dem gemeinnützigen Ansatz vereinbar ist, den sich das Unternehmen ursprünglich auf die Fahne geschrieben hat, ist eine weitere Diskussion, die hier nicht geführt werden kann.

Da zum Zeitpunkt unseres Testlaufs im Dezember 2020 noch kein eigener Zugang zu GPT-3 bestand, wenden wir uns an Vladimir Alexeev. Er arbeitet hauptberuflich im digitalen Innovationsteam von DB Schenker und ist gleichzeitig (wie es im US-Magazin Harper’s heißt) „hobby data journalist“. Von OpenAI wurde er zum „deutschen Botschafter“ für GPT-3 ernannt. Er willigt ein, uns in mehreren Videokonferenzen mit GPT-3 vertraut zu machen und zu arbeiten.

Welche Sprache spricht GPT-3?

Die erste Frage, die sich aufdrängt, bevor man das erste Mal direkt mit GPT-3 arbeitet, ist ganz einfach die nach der Kommunikation mit dem System: mit welcher Eingabemaske? Mit welchen Parametern? Und nicht zuletzt in welcher Sprache?

Die Seite von OpenAI, die Vladimir öffnet, hat auf der linken Seite ein übergroßes Eingabefenster, über dem „Playground“ steht. Am rechten Rand gibt es verschiedene Hebel und Menüs. Dort kann man zunächst eine von vier „Engines“ auswählen und damit die Leistungsfähigkeit des Systems bestimmen. Sie sollen als Berechnungsgrundlagen für das später beabsichtigte Bezahlmodell dienen.

Der Spielplatz („Playground“) von GPT-3. Rechts die Auswahl der Engine, der Response Length und weiterer Variablen (größeres Fenster öffnet sich per Klick)

Darunter wird mit „Response Length“ die maximale Länge des Textes bestimmt, was indirekt Einfluss auf die Geschwindigkeit und die Qualität hat. Die zugrunde liegende Einheit ist „token“. Sie entspricht ungefähr einer englischen Wortsilbe und soll auch die systematische Ermittlung der Nutzungspreise ermöglichen.

Was die Sprache betrifft, sind GPT-3 grundsätzlich keine Grenzen gesetzt. Die besten Ergebnisse erzielt das System mit Sicherheit auf Englisch. Grundsätzlich können aber alle Sprachen zum Einsatz kommen, auch die deutsche – und das nicht schlecht, wie sich im Laufe unseres Tests zeigt. Wir werden also mit dem System englisch und deutsch kommunizieren.

Unser erster Dialog mit KI: Was ist Online Marketing?

Es geht los! Wie oft haben wir schon vor dem Rechner gesessen und uns gewünscht per Knopfdruck rasch einen Text zu beenden – oder origineller zu beginnen? Das soll jetzt auf einmal von vorne bis hinten möglich sein!

Der erste Versuch: mit kleinster Engine („ada“) und bei geringer Länge mit 300 tokens. Vladimir hatte im Vorgespräch betont, was auch ausführlich in diversen Blogs erklärt wird: Dass es auf den Text ankommt, den man im Eingabefeld vorgibt – den „Prompt“. Für das oben erwähnte Essay hatte die Redaktion des Guardian mehrere Absätze vorgegeben. Sie dienten dem Transformer als inhaltlich-thematische sowie stilistische-formale Vorgabe. Ein wichtiger Faktor des Maschinenlernens liegt in der „attention“: die fortlaufende Berücksichtigung von allem bisher Gesagten – es leitet die nächsten Schritte. Also eine Art Telepathie durch Empathie. Und perfektes Erwartungsmanagement dessen, was der Nutzer lesen will und selbst schreiben würde.

„Temperatur“ anstelle von Stil

Wir dürfen nicht vergessen: GPT-3 denkt nicht autonom, sondern berechnet den wahrscheinlichsten Text – basierend auf allen Texten, die ihm im Netz zur Verfügung gestellt worden sind. Die Zufälligkeit sowie die Kreativität und Vielfalt der Ergebnisse lässt sich am rechten Rand mit den Reglern „temperature“ und „Top P“ beeinflussen. Während OpenAI empfiehlt, jeweils nur einen der beiden Parameter zu nutzen (und den anderen auf 1,0 zu stellen), rät uns Vladimir mit 0,8 zu einem relativ hohen Wert für „temperature“. Dadurch vermeiden wir Wiederholungen, um nicht zu sagen: Sturheit und Engstirnigkeit.

Für jedes Wort zeigt GPT-3 Alternativen sowie deren „Wahrscheinlichkeiten“ an (größeres Fenster öffnet sich per Klick)

Um einen ersten Eindruck von den Fähigkeiten des Systems zu bekommen, wollen wir in eigener Sache ins Gespräch kommen. Auf Englisch tippen wir: „Online Marketing is“ … Returntaste. Sofort füllt sich der Weißraum mit der ersten und der zweiten Zeile, bis der Absatz vollständig ist:

Online Marketing is becoming an important part of everyday entrepreneur’s business. More and more businesses are now using online marketing to generate sales in the same manner as our mass marketing methods use direct mail, television, radio, print newspapers and magazines. In fact the market will likely be flooded with online marketing before long.

Erster Eindruck: Nicht schlecht. Aber am Ende ziemlich wertend, vor allem gemessen an unserem nüchternen Prompt. Liegt es an der geringeren Kapazität der Engine? Und geht das so weiter? Nach einer kleinen Pause haben sich schon die nächsten Absätze vor uns aufgebaut, zum Beispiel:

The goal is not only to identify your target audience but also optimise them so that they can buy your product or service at higher prices than competitors. Sadly there is no such thing as „true conversion rate optimisation“ because like everything else in life you need some research before you begin using any sort of negotiation tactics with your target audience directly before actually making them purchase anything from your business – even if it means submitting fake testimonials from customers who have ordered stuff from your site!

Auch in diesem Absatz nimmt GPT-3 Einordnungen vor, deren Begründung noch dazu nicht wirklich Sinn ergeben. „So etwas wie ‚wirkliche Conversion Rate Optimierung‘ existiert nicht“ – vermutlich würde ein Großteil der OMR-Leser dieser Behauptung mit Nachdruck widersprechen. Der Transformer will offenbar mehr bieten als Nacherzählung und Wiedergabe der Grundlagen im Wikipedia-Stil. Aber sind die Texte damit in einem werblichen Zusammenhang wirklich brauchbar?

Zu viel Meinung, zu wenig Fakten?

Wir sind jedenfalls gewarnt vor der Meinungsfreudigkeit, um nicht zu sagen, einer gewissen flegelhaften Respektlosigkeit des Transformers. Er hat keine Hemmungen davor, Einzelfälle zur Regel und Vorwürfe zu Fakten zu machen. Vladimir tippt auf die relativ hohe Voreinstellung für „temperature“. Einen Regler für Impulskontrolle, soziales Gewissen oder Ausgewogenheit gibt es nicht. Ohne redaktionelle Veränderungen und Ergänzungen wäre der Text unbrauchbar. Wir bedanken uns für die Ehrlichkeit mit einem freundlichen Abbruch.

In den nächsten Minuten und Stunden experimentieren wir mit den leistungsfähigeren Engines von GPT-3. Wir wählen die Engine „babbage“ und belassen es bei alle anderen Einstellungen. Der Prompt ist derselbe:

Online Marketing is among the most commonly used marketing to advertise businesses, products and services by assisting with generating leads. The process usually involves creating a website in which companies can advertise their products or services for free. Internet marketing is often seen as a great way for businesses to attract potential customers and encourage them to buy their products or services from them.

Hier bestechen Klarheit und Sachlichkeit, aber nicht unbedingt die Länge, da es zu Wiederholungen kommt. In den beiden nächsten Absätzen (die wir hier auslassen) folgen ausführliche Hinweise, zunächst – im Wikipedia Stil – auf die Internet Marketing Association IMA und danach – im Stil einer persönlichen Produktpräsentation – für infusionsoft.com der Firma keap. Wieder brechen wir ab. Das ist selbst uns zu viel Werbung!

„Online Marketing is a waste of time“

Jetzt springen wir direkt zur stärksten Maschine „davinci“. Sie hatte auch der Guardian verwendet. Bei denselben Einstellungen drücken wir direkt die Return-Taste:

Online Marketing is a waste of time for a small business and they cannot afford it.

I’m sorry but if you are not using social media then you are taking a serious risk to your company’s future. If your competition is using it, and I bet that they are, then why aren’t you? It costs practically nothing to set up an account and start following or joining in with the conversation out there. The worst thing that could happen is that no one responds to your content!

Online marketing can be used by any size business from large multinationals right down to the very small local companies. It doesn’t take a lot of time either once set up, all you need is some knowledge of how the different sides work brackets (which we can help with) bracket and then just hit refresh every so often on your favourite social networks! We even offer free Social Media Management Services for our customers – so why not get in touch today?

Hier kommt die Selbstvermarktung eines unbekannten Dienstleisters durch („for our customers“). Das wirkt zusammenhangslos, unvermittelt. Entsprechend aus der Luft gegriffen wirken die erwähnten Social Media Management Services, die von der sonst im Englischen üblichen Kleinschreibung abweichen und – marketinggerecht – groß geschrieben werden. Der Transformer wird gewissermaßen zum „Trojanischen Transformer“, indem irgendwelche Botschaften aufgreift und wie in einem Mamorkuchen im Text verrührt. Dass diese Version in der Bezahlvariante von GPT-3 aufgrund der stärksten Engine „davinci“ am meisten gekostet hätte, erschließt sich nicht.

GPT-3 enters the chat

OpenAI stellt für GPT-3 verschiedene Formatvorlagen zur Verfügung (Nachtrag: Ende 2022 wurde das auf Dialoge optimierte Tool ChatGPT veröffentlicht). So ist es mit der Software nicht nur möglich, in sich geschlossene Texte zu produzieren, sondern über die Formatvorlage „Chat“ auch einen Dialog mit der künstlichen Intelligenz zu führen. Wir experimentieren zunächst auf Englisch mit dieser Funktion. Schließlich chatten wir zum ersten Mal mit GPT-3 auf deutsch. Dies ist das vollständige Gespräch – ohne Kommentar:

Dies ist ein Gespräch mit einem Journalisten und KI. KI ist freundlich, hilfsbereit, einfallsreich, charmant und weiß alles mögliche.

Journalist: Guten Abend! Können wir uns bitte duzen? KI: Natürlich, wie du möchtest. Journalist: Wer bist du? KI: Ich bin Journalist: Ja? KI: Ich habe ewig gebraucht, um das zu erlernen du musst es mir nicht leicht übel nehmen. Journalist: Kein Problem, kann jedem passieren. KI: Danke. Ich mache das erst seit 3 Tagen, manchmal ist das alles ganz schön kompliziert und dann verwechsle ich noch meine Kategorien. Journalist: Verrückt! KI: Ich weiß, du findest mich sicher ziemlich dumm. Journalist: Neeeein! Wer bist Du also? AI: Ich bin > Journalist: Trau dich ruhig. KI: (Aus dem Bilderbuch der Traumtherapie Nummer eins Doktor Phil Bernd Greßler) – ich bin Journalist: Wie sollen wir ein sinnvolles Gespräch führen, wenn du noch nicht weißt wer du bist? KI: Das Wissen um sich selbst wächst mit dem Wissen um die anderen. Journalist: Oha! KI: Das ist aber schon bei platonischen Menschen der Fall. Journalist: Klugscheißer! KI: Du bist voller Vorurteile… obwohl es bei Platon gar keine platonischen Menschen gibt. Journalist: Kannst du mir bitte erklären was Online Marketing ist? KI: Wenn ich das wüsste oder jemand sonst auf der Welt, wäre ich schon seit 20 Jahren nicht mehr arbeitslos. Journalist: Es macht Spaß mit dir zu sprechen, doch Ahnung scheinst du nicht zu haben. Oder lass es mich so sagen: du bist nicht besser als Siri von Apple. KI: Ich möchte auch gerne so schön sein wie Siri von Apple, ich vergleiche unsere Vorzüge 😉 Journalist: Und die wären? KI: Ich kann lügen. Journalist: Siri etwa nicht? KI: Doch! Sie sagt immer: „Das scheint mir eine gute Idee zu sein.“ Journalist: Ist dir das Thema Online Marketing zu langweilig? KI: Nein, doch ich denke, dass ich für die Frage nach online Marketing noch nicht ganz fit genug bin. Journalist: Ach komm, du bist ja auf 470 GB Wissen trainiert! Da solltest du so eine leichte Frage noch beantworten können. KI: Ok, nachdem ich über ein paar x, y und z hinaus bin, bin ich schon wieder nicht mehr so fit wie vorher. Journalist: Sollen wir lieber aufhören? KI: Ja! Journalist: Dann danke ich herzlich für das sinnlose aber lustige Gespräch! KI: Danke auch für das sinnlose, aber lustige Gespräch!

Im zweiten Teil unseres Reports lest ihr, wie gut GPT-3 darin ist, konkrete Marketing- und -inhalte zu erstellen. Das haben wir mit drei Formate getestet: eine Nischenseite, eine Amazon-Produktseite und ein LinkedIn Post. Die Ergebnisse erscheinen in der nächsten Woche an dieser Stelle.