A cloud full of data in the Arctic

#datapipeline: YouTube Analytics till BigQuery med Airbyte

Du kan inte bara lita på att YouTube själv ska få maximalt värde för ditt företag. Faktum är att du behöver en kombination av YouTube och Googles BigQuery så att du kan göra mer robusta analytiska insikter och i sin tur driva ökade intäkter och tillväxt till din YouTube-kanal.

I den här datapipelinen kommer vi att visa hur du enkelt kan utnyttja Airbyte för att göra jobbet.

Varför centralisera YouTube-data till ett datalager?

Låt oss titta på några av anledningarna till att du kanske vill centralisera dina YouTube-data till ett datalager.

Out-of-the-box-rapportering är inte tillräcklig

YouTube har vissa begränsningar för rapporterings- och instrumentpanelsfunktioner, vilket gör det oflexibelt att använda för olika scenarier.

Varför använda Airbyte för att extrahera YouTube-data

Om du skriver anpassade ETL-skript saktar du ner projektets hastighet. Om dessa skript inte är välskrivna är risken att konstant vård och tid krävs för att ägna åt att hålla dessa skript igång.

Genom att välja ett verktyg som Airbyte skapar du automatisering, vilket gör att du kan dumpa de komplexa hårdkodade skripten som hanterar data wrangling och schemaläggning, så att dina team kan arbeta effektivt. 

Airbyte-anslutningarna är öppna källkoder och lätt anpassningsbara, vilket ger dig fördelen att sömlöst integrera dina data som finns i många företagsappar och databaser i ditt datalager.

Med Airbyte äger du dina data, ingen mellanhandstjänst som dina data går igenom, i Airbyte är dina data deduplicerade och kan omvandlas i farten baserat på anpassade affärslogikregler med SQL.

Andra coola funktioner i Airbyte är att Airbyte har inbyggd schemaläggning, orkestrering och övervakning., du kan med Airbyte scheduler aktivera datareplikering antingen helt eller på ett stegvis sätt.

Så här kommer du igång med Airbyte

Du behöver följande för att komma igång med att extrahera dina YouTube-data till din Google BigQuery.

  1. Följ de enkla anvisningarna i dokumentationen här om du vill distribuera Airbyte.
  2. Du behöver ett YouTube Channel-konto.
  3. Du behöver också ett Google Cloud Platform-konto med BigQuery-tjänsten aktiverad.
  4. Aktivera YouTube API i Google Cloud Platform

Aktivera YouTube API i Google Cloud Platform

För att använda YouTube API: erna måste du aktivera dem i ditt Google Cloud Platform Project, jag aktiverade YouTube Reporting API

Skapa autentiseringsuppgifter för OAuth-klient-ID

För att ange autentiseringsuppgifterna för YouTube API måste du skapa autentiseringsuppgifter, du måste göra det eftersom Airbyte-indata för YoutTube kräver OAuth Client Id, OAuth Secret ID och Refresh Token. här är stegen

Välj Webbprogram som programtyp.

För att hämta uppdateringstoken använder du Google Developers OAuth Playground Tool 

Följ anvisningarna i verktyget, aktivera det API som du vill använda som scope i din Oauth. Klicka sedan på Auktorisera API så får du den här skärmen.

Välj det konto som du har kopplat till YouTube. Slutför alla autentiseringssteg så kommer du tillbaka på den här skärmen.

Första gången du använder detta måste du klicka på knappen Exchange-auktoriseringskod för tokens. Vad vi vill använda senare i Airbyte-installationen är uppdateringstoken. Först ska vi sätta upp BigQuery.

Konfigurera Google BigQuery

Skapa en BigQuery-datauppsättning och generera en JSON-fil som krävs för att konfigurera Airbyte. Logga in på ditt GCP-konto och gå till BigQuery.

Välj Skapa en datauppsättning och ge och lägg till nödvändig information.

Gå sedan till sidan Servicekonto och Skapa ett nytt tjänstkonto. Ange den information som krävs. Bevilja tjänst kontot rollen BigQuery Data Owner.

När tjänst kontot har skapats går du till Keys > Lägg till nyckel och skapar en ny nyckel. Du kommer att bli ombedd att ladda ner en autentiseringsfil. Ladda ner JSON-versionen som kommer att användas senare.

Konfigurera Youtube som din Airbyte-källa

Ställ in anslutningen för källan, som kommer att vara dina Youtube-detaljer som vi skapade i ett tidigare steg. Under client_id anger du den uppdateringstoken som erhållits i slutet av steg 1 under client_secret ange och under refresh_token.

Konfigurera BigQuery som din Airbyte-destination

Konfigurera sedan Airbyte för att använda BigQuery som mål för datareplikering. Ange ditt klient-ID och klienthemlighet som du skapade när du konfigurerade ditt Oauth-klient-ID och nu är det dags att använda den uppdateringstoken som du tidigare har skapat.

Skapa en YouTube till BigQuery-anslutning

När du har konfigurerat en lista över YouTube-strömmar kan data säkerhetskopieras.

Bläddra igenom och välj den Leads-ström som innehåller exempeldata.  

Du måste ha fakturering aktiverat i bigquery-tjänsten för att normaliseringen ska fungera utan några fel.

När du har konfigurerat kan du utlösa en synkronisering manuellt. När dina data är klara kommer de att säkerhetskopieras till BigQuery.

Nu kan du se att många tabeller har skapats i data uppsättningen kan du förhandsgranska data eller göra SQL-frågor på dina YouTube-tabeller i BigQuery.

Slutsats

Nu när du har extraherat dina YouTube-data till Google BigQuery kan du utnyttja BigQuerys rika analytiska funktioner för att extrahera fler insikter från dessa data. Du kan också ansluta BgQuery-tabellerna till Google Data Studio för att skapa rapporter för målgruppen.


Posted

in

,

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *