A cloud full of data in the Arctic

#datapipeline: YouTube Analytics til BigQuery med Airbyte

Du kan ikke bare stole på YouTube selv til at udlede maksimal værdi for din virksomhed. Faktisk har du brug for en kombination af YouTube og Googles BigQuery, så du kan gøre mere robust analytisk indsigt og til gengæld drive øget omsætning og vækst til din YouTube-kanal.

I denne datapipeline demonstrerer vi, hvordan du nemt kan udnytte Airbyte til at udføre jobbet.

Hvorfor centralisere YouTube-data til et data warehouse?

Lad os se på nogle af grundene til, at du måske vil centralisere dine YouTube-data i et data warehouse.

Out-of-the-box rapportering er ikke tilstrækkelig

YouTube har nogle begrænsninger på rapporterings- og dashboardfunktioner, hvilket gør det ufleksibelt at bruge til forskellige scenarier.

Hvorfor bruge Airbyte til at udtrække YouTube-data

Hvis du skriver brugerdefinerede ETL-scripts, vil det sinke projektets hastighed. Hvis disse scripts ikke er velskrevet risikoen er, at konstant pleje og tid er forpligtet til at afsætte til at holde disse scripts kørende.

Hvis du vælger et værktøj som Airbyte, opretter du automatisering, som giver dig mulighed for at droppe de komplekse hardcodede scripts, der håndterer data tovtrækkeri og planlægning, så dine teams kan arbejde effektivt. 

Airbyte- stikkene er open source og kan nemt tilpasses, hvilket giver dig fordelen ved problemfrit at integrere dine data, der er bosiddende på tværs af mange virksomhedsapps og databaser på dit data warehouse.

Med Airbyte ejer du dine data, ingen mellemmandstjeneste, dine data gennemgår, i Airbyte dedupliceres dine data og kan transformeres i farten baseret på brugerdefinerede forretningslogikregler med SQL.

Andre seje funktioner i Airbyte er, at Airbyte har indbygget planlægning, orkestrering og overvågning., kan du med Airbyte planlægger aktivere datareplikering enten helt eller trinvis måde.

Sådan kommer du i gang med Airbyte

Du skal bruge følgende for at komme i gang med at udtrække dine YouTube-data til din Google BigQuery.

  1. Hvis du vil installere Airbyte, skal du følge de enkle instruktioner i dokumentationen her.
  2. Du skal bruge en YouTube-kanalkonto.
  3. Du skal også have en Google Cloud Platform-konto, hvor BigQuery-tjenesten er aktiveret.
  4. Aktiver YouTube API i Google Cloud Platform

Aktiver YouTube API i Google Cloud Platform

For at bruge de YouTube API’er, du har brug for til at aktivere dem i dit Google Cloud Platform Project, aktiverede jeg YouTube Reporting API

Opret legitimationsoplysninger for OAuth-klient-id

Hvis du vil angive legitimationsoplysningerne for YouTube API, skal du oprette legitimationsoplysninger, du skal gøre dette, da Airbyte-input til YoutTube kræver OAuth Client Id, OAuth Secret ID og Refresh Token. her er de trin,

Vælg Webprogram som programtype.

Hvis du vil hente opdateringstokenet, skal du bruge værktøjet til Google Developers OAuth Playground 

Følg vejledningen i værktøjet, aktiver den ønskede API som område i din Oauth. Klik derefter på Authorizer API, og du får dette skærmbillede.

Vælg den konto, du har knyttet til YouTube. Fuldfør alle godkendelsestrinene, og du vil være tilbage på denne skærm.

Første gang du bruger dette, skal du klikke på knappen Exchange-godkendelseskode for tokens. Det, vi vil bruge senere i Airbyte-opsætningen, er refreshtokenet. Først vil vi oprette BigQuery.

Konfigurere Google BigQuery

Opret et BigQuery-datasæt, og opret en JSON-fil med legitimationsoplysninger, der kræves for at konfigurere Airbyte. Log ind på din GCP-konto, og gå til BigQuery.

Vælg Opret et datasæt, og giv og tilføj de nødvendige oplysninger.

Gå derefter til siden Tjenestekonto og Opret en ny tjenestekonto. Angiv de nødvendige oplysninger. Tildel tjenestekontoen rollen BigQuery Data Owner.

Når tjenestekontoen er oprettet, skal du gå til Nøgler > Tilføj nøgle og oprette en ny nøgle. Du bliver bedt om at hente en legitimationsfil. Download JSON-versionen, som vil blive brugt senere.

Konfigurer Youtube som din Airbyte-kilde

Konfigurer forbindelsen til kilden, som vil være dine Youtube-detaljer, som vi oprettede i et tidligere trin. Angiv det opdateringstoken, der blev opnået i slutningen af trin 1, under client_secret client_id under refresh_token client_id.

Konfigurer BigQuery som din Airbyte-destination

Konfigurer derefter Airbyte til at bruge BigQuery som destination for datareplikering. Angiv dit klient-id og din klienthemmelighed, som du oprettede, da du oprettede dit Oauth-klient-id, og nu er det tid til at bruge det opdateringstoken, du tidligere har oprettet.

Oprette en YouTube til BigQuery-forbindelse

Når konfigureret en liste over YouTube-streams, at data kan sikkerhedskopieres.

Rul igennem, og vælg den strøm af kundeemner, der indeholder eksempeldataene.  

Bemærk: Du skal have fakturering aktiveret i din BigQuery-tjeneste, for at normalisering kan fungere uden fejl.

Når den er konfigureret, kan du manuelt udløse en synkronisering. Når dine data er færdige, sikkerhedskopieres de til BigQuery.

Nu kan du se, at mange tabeller er blevet oprettet i dit datasæt, kan du få vist data eller foretage SQL-forespørgsler på dine YouTube-tabeller i BigQuery.

Konklusion

Nu hvor du har udtrukket dine YouTube-data til Google BigQuery, kan du udnytte bigquerys rige analytiske funktioner til at udtrække mere indsigt fra disse data. Du kan også knytte dine BgQuery-tabeller til Google Data Studio for at lave rapporter til din målgruppe.


Posted

in

,

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *