Targeting auf Foto-Basis – Woran Google, Snapchat und Pinterest im Verborgenen arbeiten

1. Google investiert mehrere Hundert Millionen US-Dollar
2. Zahl der täglich geteilten Fotos geht in die Milliarden
3. Snapchat meldet Patent an
4. Pinterest bietet Retargeting auf Bild-Basis
5. Google: „Wir ziehen das durchaus in Betracht“
6. Facebook hat Zugriff auf ein massives Foto-Archiv
7. Bilderkennung beeinflusst Newsfeed-Ranking
8. Next Step: Video

Analysieren große Digital-Konzerne künftig automatisiert und auf Software-Basis die Fotos ihrer Nutzer, um so zunächst herauszufinden, welche Interessen diese haben und welche Produkte sie nutzen, und ihnen dann entsprechende Werbung ausliefern zu können? Jüngste Entwicklungen deuten darauf hin, dass Unternehmen wie Snapchat und Google über solche Methoden nachdenken oder sogar bereits daran arbeiten. Online Marketing Rockstars hat hinter die Kulissen geblickt.

Google Photos (Bild: Google)

Wer in den vergangenen Tagen sein iPhone auf das aktuelle Betriebssystem iOS10 aktualisiert und danach erstmals die neueste Version von Apples Foto-App genutzt hat, ist vielleicht von der plötzlichen Intelligenz der App überrascht worden. Denn wer im eigenen Foto-Bestand nach bestimmten Bildern sucht, dem werden nun anhand seiner bisher geschossen Bilder Kategorien vorgeschlagen – so wie „Auto“, „Kleinkinder“, „Hund“ oder „Berg“. Auch detailliertere Bildkategorien wie „Tennisschuhe“ kann die App offenbar erkennen. Im Hintergrund kommt dafür Bilderkennungs-Software zum Einsatz. Die Nutzer sollen auf diese Weise schneller das von ihnen gesuchte Bild finden können. Im Mai dieses Jahres hatte Google mit der neuen „Google Photos“-App (erhältlich sowohl für Android- als auch iOS-Geräte) bereits eine vergleichbare Funktion vorgestellt.

Im April hatte Facebook auf seiner Hauptplattform ein neues Feature eingeführt, durch das in dem sozialen Netzwerk hochgeladene Fotos automatisch mit einem Alternativtext mit Informationen über das jeweilige Motiv versehen werden. Durch die neue Funktion sollen Sehbehinderte Facebook besser nutzen können. In einem Unternehmensvideo ist zu sehen, dass die künstliche Intelligenz der Facebook-Software offenbar so weit fortgeschritten ist, dass diese sogar unterschiedliche Hunderassen erkennen kann.

Google investiert mehrere Hundert Millionen US-Dollar

Offensichtlich versuchen alle großen US-Digitalkonzerne derzeit, durch den Einsatz von künstlicher Intelligenz und von Machine-Learning-Technologien noch besser den Inhalt der Fotos ihrer Nutzer zu verstehen. In den vergangenen drei bis vier Jahren gab es eine Vielzahl von Übernahmen in diesem Bereich. Alleine Google hat beispielsweise im Jahr 2014 für kolportierte 400 Millionen US-Dollar das Artificial-Intelligence-Unternehmen Deepmind übernommen, sowie in den Monaten darauf die Firmen Jetpac, Dark Blue Labs, Vision Factory. Zuletzt kaufte der Konzern aus Mountain View in diesem Juli das französische Bilderkennungs-Startup Moodstocks.

Die Gründe, aus denen die Digitalriesen in Bilderkennung investieren, sind vielfältig: So soll die Technologie natürlich höheren Nutzungskomfort bieten – etwa, indem sie den Nutzer ermöglicht, bestimmte Fotos schneller zu finden. Mehr Bedienungskomfort sorgt schließlich für treuere Nutzer. Doch die Vermutung liegt sehr nahe, dass die auf diese Weise gewonnen Daten künftig auch dafür genutzt werden sollen, das Targeting der Konzerne zu verbessern, diese also Werbung noch zielgerichteter ausspielen können.

Zahl der täglich geteilten Fotos geht in die Milliarden

Denn in den Fotos der Nutzer schlummert ein enormer Datenbestand. Weil durch die Digitalisierung Fotografie kostengünstiger geworden ist, ist die Zahl der produzierten Fotos in den vergangenen Jahrzehnten exponentiell gestiegen. Einer unbelegten Schätzung aus dem Jahr 2012 zufolge sind zehn Prozent aller jemals gemachten Fotos in den vergangenen zwölf Monaten geschossen worden. Immer mehr Bilder werden nicht nur auf digitalen Geräten hergestellt, sondern auch verbreitet. Die Zahl der Fotos, die täglich (!) über die großen sozialen Plattformen geteilt werden, ist zuletzt auf 3,3 Milliarden gestiegen. Zwei Milliarden davon werden alleine über Facebooks Plattformen (inklusive Instagram und WhatsApp) geteilt. Die Zahl der Fotos, die die Plattformbetreiber analysieren können, ist potenziell noch viel höher – denn schließlich haben sie über ihre mobilen Betriebssysteme (Apple, Google) und Apps (Facebook, Snapchat) möglicherweise Zugriff auf das gesamte Foto-Archiv des Nutzers auf dem jeweiligen Smartphone.

(Quelle: Mary Meeker KPCB Internet Trend Report 2016)

Aus diesen Bildern nutzbare Daten zu extrahieren ist für die Internetkonzerne aber nicht nur Chance, sondern nahezu Notwendigkeit. Denn der „Generation Z“, wie die jüngste Verbrauchergeneration von der Marketingbranche getauft wurde, wird nachgesagt, lieber per Bild anstatt per Text mit anderen zu kommunizieren. Ein Buzzfeed-Redakteur schilderte vor wenigen Monaten in einem Artikel, dass er seine 13-jährige Schwester beobachtet hat, wie sie über Snapchat in weniger als einer Minute 40 Schnappschüsse („Snaps“) an ihre Freunde verschickte.

(Quelle: Mary Meeker KPCB Internet Trend Report 2016)

Snapchat meldet Patent an

Kein Wunder also, dass Snapchat mit zu den ersten Unternehmen der Online-Marketing-Branche zählt, das Werbung auf Basis von Bilderkennungsdaten offensiv angeht. So wurde im Juli bekannt, dass das Unternehmen eine Technologie hat patentieren lassen, die es Werbetreibenden ermöglicht, den Snapchat-Nutzern Geofilter auf Basis von auf seinen Bildern erkannten Objekten auszuspielen. Angedacht ist es offenbar auch, dass ähnlich wie im Suchmaschinenmarketing und im Realtime Bidding mehrere Advertiser auf den jeweiligen Werbekontakte bieten können – auch via Schnittstelle mittels Software-Tools von Dritten.

Offenbar ist die Technologie noch nicht im Einsatz. Sollte sie Wirklichkeit werden, könnte sie Snapchats Werbegeschäft möglicherweise auf eine neue Ebene heben. Bislang konnte das Unternehmen zwar eine beeindruckende, schnell wachsende Reichweite vorweisen. So bezifferte Strategiechef Imran Khan die Zahl der Nutzer auf der Dmexco gerade auf 150 Millionen, 50 Millionen davon aus Europa. Doch in Sachen werberelevante Daten hinkte der Shooting Star bislang den großen Playern Google und Facebook hinterher.

Pinterest bietet Retargeting auf Bild-Basis

Pinterests visuelle Suche im Einsatz

Auch Pinterest hat wie die meisten jüngeren Social-Media-Plattformen einen sehr visuellen Charakter. Mehr als 50 Milliarden Bilder haben die Nutzer bis zum November 2015 auf Pinterest „gepinnt“. Im vergangenen November hat das Unternehmen eine „visuelle Suche“ eingeführt: Nutzer können damit eine Komponente eines Bildes „heranzoomen“ und die Plattform zeigt automatisch ähnlich aussehende Produkte an.

Auch bei der Auslieferung von Werbung setzt Pinterest offenbar bereits auf Bilderkennung: Seit Ende August können Werbetreibende aus den USA und aus Großbritannien auf Pinterest (in Deutschland ist die Buchung von Werbung noch nicht möglich) jene Nutzer, die bereits mit einem Pin interagiert haben, in dem ihre Marke vertreten war, mit Werbe-Pins erneut ansprechen. Für das neue Produkt „Related Pins“ setze Pinterest sowohl Text- als auch Bilderkennung ein, um zu erkennen, ob ein Pin in Beziehung zu einer konkreten Marke steht, erklärte Produktmanager Frank Fumarola gegenüber Marketingland.

Google: „Wir ziehen das durchaus in Betracht“

Aber auch die ganz großen, etablierten Digitalplayer denken offenbar darüber nach, auf Basis von „Computer Vision“ generierte Daten für Marketingzwecke zu nutzen. So sagte Bradley Horowitz, im Google-Management für das Thema Fotos und damit  auch die bereits erwähnte neue Foto-App verantwortlich, gegenüber Backchannel.com: „Die Informationen, die wir beim Analysieren der Fotos auslesen, verlässt nicht die App – zumindest heute noch nicht. Aber falls wir zu dem Schluss kommen, dass wir dem Nutzer auf Basis dieser Daten einen immensen Wert liefern können, bin ich sicher, dass wir das in Betracht ziehen würden.“

Ein potenzielles Nutzungsszenario: Wenn Google Photos erkennen könnte, dass ein Nutzer einen Tesla besitzt, und Tesla diesen Nutzer über eine Rückruf-Aktion informieren wolle, dann sei dies ein Service, über den Google nachdenken würde, so Horowitz – „mit angemessenen Kontrollfunktionen und Kenntlichmachung für den Nutzer.“

Facebook hat Zugriff auf ein massives Foto-Archiv

Google-Rivale Facebook hat bereits im Jahr 2012 für kolportierte 55 bis 60 Millionen US-Dollar das Startup Face.com übernommen, Entwickler einer Software für Gesichtserkennung. Über die Technologie erhalten Nutzer automatisiert Vorschläge zum Markieren von Nutzern in Fotos. Aktuell erfolgt die Einbindung von Bilderkennungs-Technologien bei Facebook im Rahmen einer groß angelegten Initiative für künstliche Intelligenz. So hat das Unternehmen 2013 ein eigenes Forschungslabor mit mehreren Standorten ins Leben gerufen.

Bislang hat Facebook nicht offiziell verlauten lassen, dass es mittels Bilderkennung auch Daten gewinnen möchte, auf deren Basis Werbung zielgerichtet ausgeliefert wird. Aktuell geht es dem Unternehmen offenbar noch stärker um die Verbesserung des Produkts auf Verbraucherseite. So nutzt Facebook Bilderkennungssoftware außer für die bereits erwähnte Funktion für Sehbehinderte dafür, anstößige Fotos noch während des Uploads zu sperren. Indem die Plattform ihren Nutzern vorschlägt, Bilder von ihren Freunden an diese zu schicken (über „Photo Magic“ im Facebook Messenger oder mit der gesonderten App „Moments“), wenn diese von Facebook über Gesichtserkennung identifiziert wurden, dürfte sie versuchen, die Nutzung anzutreiben. Ähnlich wie mit geplanten Suchfunktionen: In einem Vortrag auf der diesjährigen Entwicklerkonferenz F8 (ab Minute 49) zeigte der zuständige Entwickler Joaquin Candela, dass Nutzer bei Facebook bald auch nach „Schnee“ suchen können, wenn sie Fotos von ihrem Skiurlaub finden wollen.

Bilderkennung beeinflusst Newsfeed-Ranking

Da – vom Unternehmen selbst durch Änderungen am Algorithmus angetrieben – die Inhalte auf Facebook immer visueller werden, will das Unternehmen dazu in der Lage sein, die Relevanz eines jeden Inhalts für den einzelnen Nutzer besser einschätzen zu können. „Je besser wir den Inhalt eines Objekts wie einem Bild verstehen können, umso besser können wir die Nutzererfahrung personalisieren. Das kann auch das Ranking des Newsfeed beeinflussen“, so Candela gegenüber Mashable.

Es wäre verwunderlich, wenn Facebook die Erkenntnisse, die das Unternehmen durch künstliche Intelligenz gewinnt, nicht auch dafür nutzt, die eigenen Werbeprodukte zu verbessern. Denn dem Unternehmen bietet sich hier enormes Potenzial. Zum einen, weil es seinen Nutzer nicht nur auf Facebook selbst das Hochladen von Fotos erlaubt, sondern sich mit Instagram auch eine der größten und aktuell wachstumsstärksten Foto-Plattformen in seinem Besitz befindet. Zum anderen kennt Facebook, anders als ein Großteil seiner Mitbewerber, in der Regel die genaue Identität seiner Nutzer. Angeblich kann Facebooks Software mittlerweile auf Fotos sogar Menschen erkennen, wenn deren Gesicht nicht zu sehen ist. So könnte das Unternehmen potenziell sogar Daten über Nutzer aus Fotos generieren, die andere von der jeweiligen Person gemacht haben.

Next Step: Video

Wie wichtig dem Unternehmen das Projekt ist, wird daran deutlich, dass es seine Technologie mittlerweile als Open-Source-Projekt anderen zugänglich gemacht hat – in der Hoffnung, auf diese Weise schnellere Fortschritte zu erzielen. Offenbar kann Facebook es sich leisten – denn viel wertvoller als die Technologie selbst dürfte der Zugriff auf die Bilder der Nutzer sein.

Noch bevor die Daten der Nutzer aus dem Foto-Bereich vollkommen erschlossen sind, hat sich Facebook offenbar schon das nächste Ziel gesetzt: Bilderkennung in Videos. So präsentierte Facebook-Manager Joaquin Candela auf der F8 (ab 56:10) ebenfalls ein Video von zwei Facebook-Entwicklern, die sich selbst filmten – und direkt von Facebooks Software identifiziert werden konnten. Auch als Mark Zuckerberg und Technikchef Mike Schroepfer im Hintergrund vorbeilaufen, erkennt die Software beide Personen.

Offen bleibt, wie begeistert die Verbraucher langfristig auf die Bilderkennungs-Offensive der Digitalkonzerne reagieren werden. Google Photos und Facebook Moments mussten in Europa ohne die automatisierte Gesichtserkennung an den Start gehen. In den USA sind sowohl Google als auch Facebook wegen der Praxis, Gesichtern auf Fotos automatisiert mit Namen zu verknüpfen, bereits von Verbrauchern vors Gericht gezerrt worden.