BigQuery: Cloud Data Warehouse

In BigQuery lassen sich unterschiedliche externe Datenquellen nicht nur zwischenspeichern, sondern auch beliebig miteinander verknüpfen. Der größte Vorteil von Bigquery ist meiner Meinung nach die Möglichkeit Kalkulationen direkt in Bigquery durchführen zu lassen und sich dann nur den Output in Google Sheets ausgeben zu lassen. So spart man Rechenleistung und umgeht Performanceprobleme mit Google Sheets.

Man benötigt Programmiererfahrung um mit BigQuery arbeiten zu können und es ist insgesamt sehr technisch. Auch die Navigation in dem Tool könnte besser gelöst werden. Fehler im Query-Viewer könnten besser identifiziert und potenzielle Lösungsvorschläge gemacht werden

Verbindung mehrerer Datenquellen funktioniert prima. Die Performance ist super und es gibt wahnsinnig viele Anknüpfungspunkte wie bspw. an Google Sheets, Google Data Studio, Domo oder ähnliche Visualisierungstools.

BigQuery ist einfach zu bedienen für jeden, der ein grundlegendes Verständnis von SQL-Syntax hat. Große Datenmengen können innerhalb weniger Sekunden ausgewertet, aggregiert, summiert, etc werden. BigQuery skaliert vollständig automatisch ohne manuellen Handlungsbedarf, was bei schnell wachsenden Datensätzen sehr hilfreich ist. Zusätzlich kann man BigQuery als Datenquelle für Google Sheets und Looker Studio nutzen, dann sind nicht mal SQL Kenntnisse zum Auswerten nötig.

Transaktionales Updaten der Daten ist nicht so leicht möglich. Man braucht also in der Regel eine zweite Datenbank, BigQuery kann nur selten die primäre Datenbank sein.

Wir nutzen BigQuery als Data Warehouse, welches Kerndaten unserer NoSQL-Datenbank spiegelt, um Daten zu aggregieren und andere Auswertungen anzustellen, sowie die Daten als Grundlage für Data Studio Visualisierungen zu nutzen. Wichtig ist: Trotz der bekannten SQL Query Language sollte man nicht der Versuchung verfallen, BigQuery als transaktionale Datenbank zu nutzen.

Für uns als Marketing Agentur ist BigQuery eine naheliegende Data Warehouse Lösung. Durch direkte Data Transfers der verschiedenen Google Plattformen und in GA4 auch zur kostenlosen Version von Analytics wird der Workflow erheblich vereinfacht. Auch eine direkte Anbindung zu Looker Studio oder Google Sheets ist vorhanden.

Ziemlich technisch und nicht sehr intuitiv im Aufbau und der Bedienung. Man findet sich nicht auf Anhieb zurecht in den verschiedenen Funktionen. Auch dem Kritikpunkt anderer Rezension bzgl. der Geschwindigkeit selbst von kleinen Abfragen muss ich mich anschließen.

Ein großer Vorteil ist die Verknüpfung zu den verschiedenen Google Plattformen. SA360, Campaign Manager etc. können über Data Transfers direkt angebunden werden.

Der Zugriff auf die Rohdaten kostenlos seit Einführung von GA4 ist einer der USPs des Google Kosmos. Es bietet eine Vielzahl neuer Möglichkeiten. Die Abfragen per SQL sind auch für Einsteiger schnell nachvollziehbar und darüber hinaus kostengünstig.

Ein wenig technische Expertise ist schon erforderlich beim Aufsetzen eines Cloud Data Warehouses. Dafür ist BigQuery vergleichsweise einfach gehalten.

Zugriff auf die Rohdaten sowie Kombination und Speicherung verschiedener Datenquellen.

Dadurch dass BigQuery "serverless & scalable" ist kann das Data Warehouse zunächst kleine Anwendungsfälle umsetzen und diese funktionieren ohne Probleme hoch skalieren. Dazu arbeitet es im Kern mit SQL, was für Datenspezialisten wenig neues Lernen voraussetzt. Mit BigQueryML wird auch noch Machine Learning "demokratisiert" und für viele Lösungen bereitgestellt.

Weil BigQuery skalierbar ist, also auch sehr große Workloads ohne Probleme abarbeiten kann, können Abfragen oder BigQueryML Prozesse sehr teuer werden, wenn man nicht ganz genau weiß, was man da tut. Es gibt ein paar Regeln, die man als Nutzer einfach kennen muss, damit das Cloud Budget nicht sehr rasch aufgebraucht ist.

Den Bedarf der "Single Source of truth" löse ich unter anderem mit BQ. Ich automatisiere das Datensammeln aus verschiensten Quellen, nutze Algorithmen und Mechanismen, um diese Daten zu harmonisieren, zu säubern und zusammenzubringen, um dann darauf Analysen zu betreiben oder ML Modelle zu trainieren. Vorteile sehe ich in der Flexibilität, in der Vielfallt der Schnittstellen und in der relativ einfachen Erstellung von ML Modellen.

Die Beschleunigung von Data Studio Reports durch BiEngine, native integration in den Google Workspace und CO2 Bilanz für alle Google Cloud aktivitäten.

Recht technisch und somit ein schwerer Einstieg für Nutzende, die keine SQL Erfahrung haben.

Verarbeiten von großen Datenmengen in einer hohen Geschwindigkeit. Super einfaches und belastbares Umsetzen von Daten-Pipelines in Kombination mit y42.