A cloud full of data in the Arctic

#datapipeline: YouTube Analytics zu BigQuery mit Airbyte

Sie können sich nicht einfach auf YouTube selbst verlassen, um den maximalen Wert für Ihr Unternehmen zu erzielen. Tatsächlich benötigen Sie eine Kombination aus YouTube und Googles BigQuery, damit Sie robustere analytische Erkenntnisse gewinnen und wiederum den Umsatz und das Wachstum Ihres YouTube-Kanals steigern können.

In dieser Datenpipeline zeigen wir Ihnen, wie Sie Airbyte einfach nutzen können, um die Arbeit zu erledigen.

Warum YouTube-Daten in einem Data Warehouse zentralisieren?

Schauen wir uns einige der Gründe an, warum Sie Ihre YouTube-Daten in einem Data Warehouse zentralisieren möchten.

Out-of-the-Box-Reporting reicht nicht aus

YouTube hat einige Einschränkungen in Bezug auf Berichts- und Dashboard-Funktionen, was die Verwendung für verschiedene Szenarien unflexibel macht.

Warum Airbyte verwenden, um YouTube-Daten zu extrahieren

Das Schreiben von benutzerdefinierten ETL-Skripts verlangsamt die Geschwindigkeit Ihres Projekts. Wenn diese Skripte nicht gut geschrieben sind, besteht das Risiko, dass ständige Sorgfalt und Zeit erforderlich sind, um diese Skripte am Laufen zu halten.

Wenn Sie sich für ein Tool wie Airbyte entscheiden, erstellen Sie eine Automatisierung, mit der Sie die komplexen hartcodierten Skripte, die das Daten-Wrangling und die Planung übernehmen, aufgeben können, sodass Ihre Teams effizient arbeiten können. 

Die Airbyte-Konnektoren sind Open-Source und leicht anpassbar, was Ihnen den Vorteil bietet, Ihre Daten, die sich in vielen Geschäftsanwendungen und Datenbanken befinden, nahtlos in Ihr Data Warehouse zu integrieren.

Mit Airbyte besitzen Sie Ihre Daten, kein Zwischendienst, den Ihre Daten durchlaufen, in Airbyte werden Ihre Daten dedupliziert und können basierend auf benutzerdefinierten Geschäftslogikregeln mit SQL im laufenden Betrieb transformiert werden.

Andere coole Funktionen von Airbyte sind, dass Airbyte über integrierte Planung, Orchestrierung und Überwachung verfügt., Können Sie mit Airbyte Scheduler die Datenreplikation entweder vollständig oder inkrementell aktivieren.

Erste Schritte mit Airbyte

Sie benötigen Folgendes, um mit dem Extrahieren Ihrer YouTube-Daten in Ihre Google BigQuery zu beginnen.

  1. Um Airbyte bereitzustellen, folgen Sie den einfachen Anweisungen in der Dokumentation hier.
  2. Du benötigst ein YouTube-Kanal-Konto.
  3. Außerdem benötigen Sie ein Google Cloud Platform-Konto mit aktiviertem BigQuery-Dienst.
  4. YouTube-API in Google Cloud Platform aktivieren

YouTube-API in Google Cloud Platform aktivieren

Um die YouTube-APIs zu verwenden, die Sie benötigen, um sie in Ihrem Google Cloud Platform-Projekt zu aktivieren, habe ich die YouTube-Berichts-API aktiviert

Erstellen von Anmeldeinformationen für die OAuth-Client-ID

Um die Anmeldeinformationen für die YouTube-API bereitzustellen, müssen Sie Anmeldeinformationen erstellen, da die Airbyte-Eingabe für YoutTube OAuth Client ID, OAuth Secret ID und Refresh Token erfordert. Hier sind die Schritte

Wählen Sie Webanwendung als Anwendungstyp aus.

Um das Aktualisierungstoken zu erhalten, verwenden Sie das Google Developers OAuth Playground Tool 

Befolgen Sie die Anweisungen im Tool und aktivieren Sie die gewünschte API als Bereich in Ihrem Oauth. Klicken Sie dann auf API autorisieren und Sie erhalten diesen Bildschirm.

Wähle das Konto aus, das du mit YouTube verknüpft hast. Schließen Sie alle Authentifizierungsschritte ab und Sie sind wieder auf diesem Bildschirm.

Wenn Sie dies zum ersten Mal verwenden, müssen Sie auf die Schaltfläche Exchange-Autorisierungscode für Token klicken. Was wir später im Airbyte-Setup verwenden möchten, ist das Refresh-Token. Zuerst richten wir BigQuery ein.

Google BigQuery einrichten

Erstellen Sie ein BigQuery-Dataset und generieren Sie eine JSON-Datei mit Anmeldeinformationen, die zum Konfigurieren von Airbyte erforderlich ist. Melden Sie sich bei Ihrem GCP-Konto an und gehen Sie zu BigQuery.

Wählen Sie Dataset erstellen aus, und geben Sie die erforderlichen Informationen an und fügen Sie sie hinzu.

Wechseln Sie als Nächstes zur Seite Dienstkonto, und erstellen Sie ein neues Dienstkonto. Geben Sie die erforderlichen Informationen ein. Gewähren Sie dem Dienstkonto die BigQuery Data Owner-Rolle.

Nachdem das Dienstkonto erstellt wurde, wechseln Sie zu Schlüssel > Schlüssel hinzufügen, und erstellen Sie einen neuen Schlüssel. Sie werden aufgefordert, eine Anmeldeinformationsdatei herunterzuladen. Laden Sie die JSON-Version herunter, die später verwendet wird.

Richten Sie Youtube als Airbyte-Quelle ein

Richten Sie die Verbindung für die Quelle ein, bei der es sich um Ihre Youtube-Details handelt, die wir in einem vorherigen Schritt erstellt haben. Geben Sie unter client_id unter client_secret Eingeben und unter refresh_token das Aktualisierungstoken ein, das Sie am Ende von Schritt 1 erhalten haben.

Richten Sie BigQuery als Airbyte-Ziel ein

Richten Sie als Nächstes Airbyte so ein, dass BigQuery als Ziel für die Datenreplikation verwendet wird. Geben Sie Ihre Client-ID und den geheimen Clientschlüssel ein, die Sie beim Einrichten Ihrer Oauth-Client-ID erstellt haben, und jetzt ist es an der Zeit, das zuvor erstellte Aktualisierungstoken zu verwenden.

Erstellen einer YouTube-zu-BigQuery-Verbindung

Sobald eine Liste von YouTube-Streams konfiguriert ist, können diese Daten gesichert werden.

Blättern Sie durch, und wählen Sie den Leads-Stream aus, der die Beispieldaten enthält.  

Hinweis: Sie müssen die Abrechnung in Ihrem BigQuery-Dienst aktiviert haben, damit die Normalisierung fehlerfrei funktioniert.

Einmal konfiguriert, können Sie manuell eine Synchronisierung auslösen. Nach Abschluss des Vorgangs werden Ihre Daten in BigQuery gesichert.

Jetzt können Sie sehen, dass viele Tabellen in Ihrem Dataset erstellt wurden, Sie können eine Vorschau der Daten anzeigen oder SQL-Abfragen für Ihre YouTube-Tabellen in BigQuery durchführen.

Schlussfolgerung

Nachdem Sie Nun Ihre YouTube-Daten in Google BigQuery extrahiert haben, können Sie die umfangreichen Analysefunktionen von BigQuery nutzen, um mehr Erkenntnisse aus diesen Daten zu gewinnen. Sie können Ihre BgQuery-Tabellen auch mit Google Data Studio verbinden, um Berichte für Ihre Zielgruppe zu erstellen.


Posted

in

,

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *