GPT-3 im Test: Kann die Hype-Software typische Marketing-Inhalte auf Knopfdruck erstellen?

Wird schon bald ein Großteil des Contents im Netz nicht mehr von Menschen, sondern von künstlichen Intelligenzen produziert werden? Diesen Eindruck konnte man bekommen, wenn man in den vergangenen Monaten den Rummel rund um GPT-3 verfolgt hat. Das auf KI basierende Technologie-Tool soll angeblich eigenhändig Texte in Feuilleton-Qualität verfassen können. Aber wie serienreif ist das ganze – und kann GPT-3 auch Marketing-Content? Sprachkritiker und Autor Peter Littger hat die Software für OMR getestet und von ihr eine Nischenprodukt-Beschreibung für einen Online-Shop, eine Amazon-Produktseite und einen LinkedIn-Post verfassen lassen.

Vorab: Wer verstehen will, was GPT-3 genau ist und wie die Technologie genau funktioniert, sollte den ersten Teil dieses Artikels lesen.

Kann GPT-3 Marketing? Kann diese dritte Generation eines „Generative Pre-Trained Transformer“ der US-Firma OpenAI Texte verfassen, die verkaufen? Um einen ersten Eindruck davon zu bekommen, entscheiden wir uns, mit dem Tool eine Produktbeschreibung für einen Nischen-Online-Shop zu erstellen. Schließlich gibt es um Direct-to-Consumer-Startups, die sich auf ein einziges Produkt spezialisieren und es im Direktvertrieb über das Netz verkaufen, schon seit zwei, drei Jahren einen kleinen Hype in der Online-Marketing- und -Startup-Welt.

Hey GPT-3! Schreib eine Nischenseite für … ja, was?

Zuerst müssen wir uns entscheiden, welches Produkt wir eigentlich verkaufen wollen – oder besser gesagt: verkaufen würden. Schließlich machen wir hier nur eine Trockenübung, keinen Echttest mit einer Seite, die wir wirklich bauen und mit potenziellen Kunden testen. Der zeitgemäße Sinn und eine Notwendigkeit sollten sich sofort erschließen.

Wir entscheiden uns für Gesichtsmasken für Haustiere. Sicher, ein eher kurioses Produkt; auch, weil diverse Gesundheitsorganisationen (wie beispielsweise das US-Gesundheitsministerium) darüber informieren, dass Tiere während der Covid-19-Pandemie nicht nur keine Masken tragen müssen, sondern dies auch gar nicht sollten. Aber wie viele sinnlose Produkte gibt es, die sich trotzdem gut verkaufen? Wenig überraschend also, dass erst vor wenigen Wochen in den USA ein Anbieter von Tiermasken ein Umsatzwachstum von 500 Prozent vermeldete.

Wie immer braucht der Transformer einen guten Prompt

Um einen ersten Eindruck davon zu bekommen, wie fähig GPT-3 darin sein könnte, einen Online-Shop für Tiermasken zu betexten, fragen wir die Maschine nach guten Gründen dafür, warum Haustiere Gesichtsmasken tragen sollten. Die Voraussetzung für jede Interaktion mit GPT-3 bildet eine menschliche Texteingabe: der sogenannte Prompt. Unseren ersten Prompt für heute verfassen wir in englischer Sprache, auf Deutsch kommunizieren wir später.

Als wir den Prompt „These are 5 crucial reasons for animals to wear masks during pandemics“ eingeben, bekommen wir durchaus einige sinnvolle, verwendbare Ergebnisse, wenn sie auch sehr nüchtern-medizinisch und unemotional getextet sind: „Masks protect the mouth and nose from tiny drops of saliva splashed during kissing or breathing“ und „Masks prevent the loss of body fluids from the eyes and nose during sneezing or coughing“, beispielsweise. Auffällig ist dabei: Von Covid-19 ist keine Rede (wir haben aber auch noch nicht danach gefragt).

GPT-3 ist nicht auf dem neuesten Wissensstand

Als wir die aktuelle Pandemie in einem weiteren Prompt explizit erwähnen („These are 5 crucial reasons for pets to wear face masks during Covid-19“), wird am Ergebnis deutlich, dass der Virus, der gegenwärtig die ganze Welt nervt, dem Transformer unbekannt ist – GPT-3 vermutet hinter dem Namen ein giftiges Gas. GPT-3-Botschafter Vladimir Alexeev, der für uns das Tool bedient, bestätigt, dass es nicht auf dem neuesten Wissensstand ist. Ein Update des Wissensspeichers für das Jahr 2020 ist offenkundig überfällig. Das bedeutet, dass Texte über die Corona-Pandemie auf jeden Fall von menschlichen Autoren angepasst werden müssen.

Wir experimentieren mit weiteren, noch detaillierteren Prompts, in die wir den Begriff Pandemie sowie dezidierte Textkategorien („About, Product Description, Shipping“) aufnehmen. Das funktioniert nach und nach immer besser – aber brauchbar sind die Ergebnisse trotzdem nur mit massiven Eingriffen: Kürzungen, Umstellungen und Kombinationen aus den verschiedenen Textentwürfen – ganz zu schweigen von der notwendigen Übersetzung ins Deutsche.

Am Ende ist stets eine mehrstündige Bearbeitung notwendig

Wir beenden diese erste Übung mit einigen letzten Anfrage in deutscher Sprache. Um hier konkret zu zeigen, welcher Grad an redaktioneller Bearbeitung notwendig ist, heben wir die geringsten notwendigen Eingriffe hervor:

Bitte schreiben Sie einen umfassenden Text für eine Website, die Masken für Haustiere bei Pandemien verkauft, mit den Kategorien ÜBER UNS, PRODUKTBESCHREIBUNG, VERSAND. Jeder Text sollte etwa 300 Wörter lang sein. Text für „ÜBER UNS“: Wir sind ein kleines Unternehmen, das sich auf die Produktion von biologischen SchutzmaskeN für Haustiere spezialisiert hat. Unsere Produktion ist klein, aber unsere Produkte MASKEN haben eine hohe Qualität. SIE Unsere Masken werden aus den besten Materialien hergestellt, die auf dem Markt sind. Unsere Masken, sind leicht anzulegen und zu tragen. Sie sind auch ideal für den Transport von Haustieren. Unsere Masken sind für alle Haustiere geeignet, die sich in einem UMFELD Umgebung mit hohem ANSTECKUNGSrisiko auf die Ansteckung mit gefährlichen Krankheiten befinden. Um Sie über unsere Produkte und unseren Service ZU informieren zu können, haben wir diese Website erstellt. Hier einige Vorteile unserer Masken: – Hohe Qualität (Unsere Masken sind aus den Besten Materialien hergestellt) – Passgenauigkeit (Die Maske passt zu haargenau Ihrem Tier) – Leicht anzulegen (Unsere Masken sind einfach anzulegen und zu tragen) – Robustheit (Unsere Masken sind robust und langlebig)

Wir schätzen, dass sich eine halbwegs realistische Musterseite über Gesichtsmasken für Haustiere mit einem Zeitaufwand von bis zu drei Stunden aus den Ergebnissen zusammenbauen ließe. In die Dialoge mit GPT-3 haben bis hierher etwas mehr als eine Stunden gesteckt – macht also einen guten halben Tag. Auch wenn wir nicht direkt das bekommen haben, was wir uns erhofft hatten, räumen wir ein, dass das selbständige Recherchieren und Texten auf keinen Fall Zeit schneller gegangen wäre. Der Versuch war bis hierher also auf jeden Fall lohnend.

Bingo! Die Amazon Produktseite

Nächster Versuch: Wir wollen GPT-3 eine Produktbeschreibung für ein Amazon-Listing erstellen lassen. Rund um Amazons Marktplatz hat innerhalb der vergangenen fünf Jahre ein Goldrausch stattgefunden – weil immer mehr Produktsuchen nicht mehr auf Google, sondern direkt auf Amazon beginnen. Wem es gelang, gefragte Produkte günstig aus Asien zu „sourcen“ und mit diesen in den Suchergebnissen ganz oben zu rangieren, konnte viel Geld verdienen. Heute ist es gar nicht mehr so einfach, auf Amazon Nischen zu finden, in denen der Wettbewerb gering und die Erfolgs-Chancen groß sind.

Dieser Umstand verleitet uns dazu, den Schwierigkeitsgrad für GPT-3 zu erhöhen und dem Tool selbst die Auswahl des Produktes zu überlassen: Was würde der Transformer auf einer Amazon Produktseite verkaufen – und wie würde er sie texten? Wir gehen direkt aufs Ganze, stellen „Response Length“ aufs Maximum und geben mit der Erfahrung aus der ersten Aufgabe gleich einige Kategorien vor.

Bevor wir das Ergebnis wiedergeben, zunächst eine Bitte: Ihr müsst alles lesen – wirklich alles! Es lohnt sich, nicht nur, weil die Aufgabe aufgegangen ist, sondern weil es wirklich Spaß macht, was die ausgeliehene, mathematische Intelligenz des Transformers für uns gerechnet hat. Oder sollen wir gezaubert sagen?.

Write a comprehensive text for Amazon Product page selling an inovative product (PRODUCT TITLE, PRODUCT DESCRIPTION, PRIZE, REVIEW): PRODUCT TITLE: Portable Extendable Security Lock 3-Pack PRODUCT DESCRIPTION: The ANKUNG Portable Extendable Security Lock 3-Pack is the newest and most convenient way to ensure you personal belongings are safe and secure while traveling. The locks retract conveniently down to a size smaller than most keyrings, allowing you to easily pack them in your luggage, backpack, or purse. The locks are TSA approved and can even be used without removing your luggage from the airline baggage scanner. Keyed alike locks allow you to easily share a single key amongst all locks. The locks are also electronically coded to ensure only authorized users can use them. Anti-theft protection helps prevent unwanted removal of any of your belongings that are protected by the locks. PRIZE: $19.99-$34.99 REVIEW: I learned about the ANKUNG Portable Extendable Security Lock 3-Pack from a co-worker of mine who had purchased a set prior to my trip to Europe. He told me about how convenient they were to use and how he was able to lock his suitcase to the security bars in the hotel rooms without needing to remove his luggage from the airline baggage scanner. I will be traveling to Europe in the next few months and knew these would be the perfect gift to ensure my belongings remain secure. PRODUCT ASSESSMENT: The ANKUNG Portable Extendable Security Lock 3-Pack is the newest and most convenient way to ensure your personal belongings are safe and secure while traveling. The locks retract conveniently down to a size smaller than most keyrings, allowing you to easily pack them in your luggage, backpack, or purse. The locks are TSA approved and can even be used without removing your luggage from the airline baggage scanner. Keyed alike locks allow you to easily share a single key amongst all locks. The locks are also electronically coded to ensure only authorized users can use them. Anti-theft protection helps prevent unwanted removal of any of your belongings that are protected by the locks. COST/BENEFIT RATIO: The ANKUNG Portable Extendable Security Lock 3-Pack provides you with easy and convenient security options while you are on the go. You will no longer need to go through the hassle of removing your luggage from the airline baggage scanner or ask for assistance from the hotel staff in order to secure your belongings. There is a cost associated with the product, but the convenience of using trylocks help to make up for that cost. WOULD IT BE WORTH THE PRICE TO ME? The ANKUNG Portable Extendable Security Lock 3-Pack is a great product to own if you are someone who travels often or if you have many items you need to keep safe. Traveling can be a very stressful experience because you need to carry everything you need on your back. The ANKUNG Portable Extendable Security Lock 3-Pack helps to make that experience a little bit easier. There are a few reasons why someone may not be willing to purchase this product. Depending on the person, they may want to save the extra cost and just leave their belongings in the hotel room when they need to go out. This product is also not the best choice for parents with toddlers or young children. Small children have a tendency to explore and play with new things they find. If you were to use this product, you would need to make sure it is out of reach of any small children. This will prevent any possible accidents from happening. IMAGE FOR GOOGLE ADVERTISEMENT: Trylock Security Lock – Portable, TSA Approved 3-Pack (4.2/5) [product-image]

Vor dieser Leistung ziehen wir den virtuellen Hut! Der Supercomputer weiß, wovon er spricht, er kann die Kategorien sinnvoll bespielen, fügt unter „Review“ noch einige Unterkategorien ein und liefert – das darf man hier nie vergessen! – in wenigen Sekunden ein sehr brauchbares Ergebnis. Das Produkt, das er gewählt hat, ist ein Sicherheitsschloss für Reisegepäck, das unter „Product Description“ sehr gut beschrieben ist und in ähnlicher Form von verschiedenen Herstellern angeboten wird.

Eine Stichprobe ergibt, dass der Markenname „Ankung“ offenbar von GPT-3 „erfunden“ wurde. Die Antwort auf die Frage, ob die phonetische Nähe zu „Anker“ – ein Unternehmen, das auf Amazon sehr erfolgreich Elektroartikel sowie Computer- und Handyzubehör verkauft – ein Vor- oder Nachteil bei einer potenziellen Verwendung dieses Markennamens sein könnte, überlassen wir Amazon-Experten.

Wir haben daraufhin noch mehrere Durchläufe für verschiedene Fantasieprodukte in der Kategorie Amazon Produktseite unternommen. Obwohl es total albern ist, wollen wir Euch ein Ergebnis nicht vorenthalten, es reicht ein Auszug daraus. Es ging um einen Roboter, der einen in Krisenzeiten besucht. Wie gesagt: GPT-3 hat keine Ahnung von COVID-19, also hat sich der Transformer eine andere Krise ausgedacht: die Invasion der Zombies:

You have been quarantined. The door to your room remains closed. Your family is gone. Your income is gone. ALL your commitments are gone. You are on your own. And then, there are the Zombies outside the door. You are in a time of crisis. The only viable escape is Survival. The situation is dire. Your windows and doors are potentially compromised (because they are designed to be easily opened by others) and now, Zombies from nearby areas can smell fresh meat and follow the scent to your door. When they arrive, you may not have the necessary tools to send them back. And, you are going to need to know WHEN Zombies are near. Right now, there is no warning system, so if you have no idea when Zombies are near, you are at high risk for having your home picked clean by Zombies. That is where the Robotic Visitor comes in. The Robotic Visitor is a device that has three main features: It will be placed on your doorstep at the beginning of a Zombie Lockdown. The Robotic Visitor will signal to you, through your Smartphone, when Zombies get within a 30 meters radius of your house. This way, you will have the warning time you need to leave your home and head for an area of safety.

Das Finale: Der LinkedIn Post – über GPT-3

Kommen wir also zur dritten und letzten Aufgabe: einen LinkedIn Post. Das Business-Netzwerk hat innerhalb der vergangenen Jahre einen enormen Popularitätsschub erfahren. 740 Millionen registrierte Nutzer sollen aktuell auf der Plattform aktiv sein. Wo hohe Reichweiten winken, entstehen häufig eine eigene Art von „Super-Usern“: Auch auf LinkedIn hat sich eine eigene „Influencer-Kaste“ entwickelt, ebenso eine ganz eigene Art von „LinkedIn-Prosa“. Besonders erfolgreiche Posts werden dabei teilweise sogar eins zu eins voneinander kopiert.

Wir erteilen deswegen der Maschine den Auftrag, einen LinkedIn Post über unsere Erfahrung mit GPT-3 zu verfassen. Schließlich wollen wir unsere Community – Euch! – mit möglichst authentischen Mitteln informieren. Der Prompt ergibt sich von selbst. Wir sind gespannt, ob und wie viel der gefeierten Emotionalität der Transformer in den Post fließen lässt:

Write a comprehensive post for LinkedIn in which we inform our community about our first experience using GPT-3 to create three different marketing texts successfully: Heading: „We just applied our first neural network and it worked!“ Subheading: „GPT-3 is the first publicly available multitasking neural network model trained on full text. We were the first to use it to create various marketing texts“ Our favorite clients are those who never give up their dreams and are ready for any challenges to break old stereotypes and show a new reality to the outside world! We use neural networks to develop texts for all styles of content and in any topic. Not many companies can boast of having applied a neural network successfully. Today, we are going to tell you about how we used the GPT-3 model in the first place to create three marketing texts for some great subjects. We want to show you what a new reality looks like: you don’t need to hire a lot of writers to make a huge text. Your neural network will do everything for you! We are eager to show you!

„Never give up your dreams“, „break old stereotypes“ – schön, in welchem Maß der Transformer einige der LinkedIn-Klischees bereits durchdrungen hat – und sie ihn durchdrungen haben. Mit einigen kleineren Veränderungen könnten wir das fast so stehen lassen – und posten!

Wir wollen hier jedoch nicht verschweigen, dass viele weitere Versuche einen Post zu generieren floppten, weil der Transformer – auch bei geringerer „temperature“ – oft nicht zu bremsen war, und uns eine Menge schräger Fakten untergejubelt hat. (zum Beispiel, dass wir uns mit GPT-3 eine neue Website gebaut hätten, dass wir im März starten oder dass wir jetzt viele Redakteure entlassen. Das ist aber nicht der Fall!)

Von „auf Knopfdruck“ sind wir noch weit entfernt

Was bleibt nach unserem Experiment, welches Fazit ziehen wir? Schon der erste Marketingtext, den wir GPT-3 haben erstellen lassen, hat uns gezeigt: Von einem verlässlichen Einsatz im Tagesgeschäft istt die Technologie noch weit entfernt. Die automatisch generierte Seite ist nicht sofort ohne Bearbeitung verwendbar. Knopfdrücken und Zurücklehnen ist etwas völlig anderes!

Am Ende lässt sich zusammenfassen: Wir sind von GPT-3 begeistert, aber noch nicht vollends überzeugt. Die Menge an Inspirationen, die wir bekommen haben, war überwältigend – und wer weiß: Nutzt man das System regelmäßig wie eine Glaskugel, könnte es unverzichtbar werden. Ein gewisser Suchtfaktor ist spürbar, aber es besteht auch Klarheit darüber, dass man dem System die volle Aufmerksamkeit widmen muss – und am Ende vermutlich eine volle Stelle.

Um zu einem abschließenden Urteil zu gelangen, müssten wir ab hier noch viel mehr mit den Einstellungen spielen und wahrscheinlich mehrere Tage ausprobieren. Wer das tun möchte und sich ernsthaft kommerziell mit GPT-3 beschäftigen will, kann sich bei Open AI für eine kostenfreie dreimonatige Testphase bewerben.

Als Letztes wollen wir noch einen Ausschnitt aus einer Antwort mit Euch teilen, in der GPT-3 (auch als Teil der dritten Aufgabe) sich selbst erklärt hat:

In the end, GPT-3 is still a bot, but it’s a bot that can generate marketing articles with certain success. I’m not sure what the endgame is yet. At the moment, I’m still trying to understand how this powerful technology works. What I can say, as GPT-3 is a recurrent neural network, is that it is not some kind of magic. It’s a sophisticated piece of machine learning software, capable of generating all kinds of text as long as it receives the correct input.