Du kan ikke bare stole på at YouTube selv får maksimal verdi for bedriften din. Faktisk trenger du en kombinasjon av YouTube og Googles BigQuery, slik at du kan lage mer robust analytisk innsikt og i sin tur øke inntektene og veksten til YouTube-kanalen din.
I denne datapipeline vil vi demonstrere hvordan du enkelt kan utnytte Airbyte til å gjøre jobben.
Hvorfor sentralisere YouTube-data til et datalager?
La oss se på noen av grunnene til at du kanskje vil sentralisere YouTube-dataene dine til et datalager.
Out-of-the-box rapportering er ikke tilstrekkelig
YouTube har noen begrensninger på rapporterings- og dashbordfunksjoner, noe som gjør det ikke fleksibelt å bruke for forskjellige scenarier.
Hvorfor bruke Airbyte til å trekke ut YouTube-data
Hvis du skriver egendefinerte ETL-skript, reduseres prosjektets hastighet. Hvis disse skriptene ikke er godt skrevet, er risikoen at konstant omsorg og tid er nødvendig for å bruke på å holde disse skriptene i gang.
Ved å velge et verktøy som Airbyte, oppretter du automatisering, som lar deg grøfte de komplekse hardkodede skriptene som håndterer data krangling og planlegging, slik at teamene dine kan jobbe effektivt.
Airbyte, koblinger er åpen kildekode og kan enkelt tilpasses, noe som gir deg fordelen av å sømløst integrere dataene dine som ligger på tvers av mange forretningsapper og databaser i datalageret ditt.
Med Airbyte eier du dataene dine, ingen mellommannstjeneste dataene dine går gjennom, i Airbyte blir dataene dine deduplicated og kan transformeres på farten basert på tilpassede forretningslogikkregler med SQL.
Andre kule funksjoner i Airbyte er at Airbyte har innebygd planlegging, orkestrering og overvåking., kan du med Airbyte planlegger aktivere datareplikering enten helt eller på en inkrementell måte.
Slik kommer du i gang med Airbyte
Du trenger følgende for å komme i gang med å trekke ut YouTube-dataene dine til Google BigQuery.
- For å distribuere Airbyte, følg de enkle instruksjonene i dokumentasjonen her.
- Du trenger en YouTube-kanalkonto.
- Du trenger også en Google Cloud Platform-konto med BigQuery-tjenesten aktivert.
- Aktiver YouTube API i Google Cloud Platform
Aktiver YouTube API i Google Cloud Platform
For å bruke YouTube API-ene må du aktivere dem i Google Cloud Platform Project, jeg aktiverte YouTube Reporting API
Opprett legitimasjon for OAuth-klient-ID
For å oppgi legitimasjonen for YouTube API, må du opprette legitimasjon, du må gjøre dette da Airbyte-inndata for YoutTube krever OAuth Client ID, OAuth Secret ID og Refresh Token. her er trinnene
Velg Webprogram som programtype.
For å få oppdateringstokenet bruker du Google Developers OAuth Playground Tool
Følg instruksjonene i verktøyet, aktiver API-en du ønsker som omfang i Oauth. Klikk deretter på Autoriser API, så får du dette skjermbildet.
Velg kontoen du har knyttet til YouTube. Fullfør alle godkjenningstrinnene, så er du tilbake på dette skjermbildet.
Første gang du bruker dette, må du klikke på knappen Exchange-autorisasjonskode for tokener. Det vi vil bruke senere i Airbyte-oppsettet er Refresh-tokenet. Først setter vi opp BigQuery.
Konfigurere Google BigQuery
Opprett et BigQuery-datasett og generer en legitimasjon JSON-fil som kreves for å konfigurere Airbyte. Logg inn på GCP-kontoen din og gå til BigQuery.
Velg Opprett et datasett, og gi og legg til den nødvendige informasjonen.
Deretter går du til Tjenestekonto-siden og Oppretter en ny tjenestekonto. Angi den nødvendige informasjonen. Gi tjenestekontoen rollen Eier av BigQuery-data.
Når tjenestekontoen er opprettet, går du til Nøkler > Legg til nøkkel og oppretter en ny nøkkel. Du blir bedt om å laste ned en legitimasjonsfil. Last ned JSON-versjonen som skal brukes senere.
Konfigurer Youtube som Airbyte-kilde
Konfigurer tilkoblingen for kilden, som vil være Youtube-detaljene dine som vi opprettet i et tidligere trinn. Under client_id skriver du inn, under client_secret angi og under refresh_token, skriver du inn oppdateringstokenet som er oppnådd på slutten av trinn 1.
Sett opp BigQuery som Airbyte-destinasjon
Deretter konfigurerer du Airbyte til å bruke BigQuery som mål for datareplikering. Skriv inn klient-IDen og klienthemmeligheten du opprettet da du konfigurerte Oauth-klient-IDen, og nå er det på tide å bruke oppdateringstokenet du tidligere har opprettet.
Opprett en YouTube til BigQuery-tilkobling
Når du har konfigurert en liste over YouTube-strømmer, kan disse dataene sikkerhetskopieres.
Bla gjennom og velg Kundeemner-strømmen som inneholder eksempeldataene.
Merk: Du må ha fakturering aktivert i BigQuery-tjenesten for at normalisering skal fungere uten feil.
Når du er konfigurert, kan du utløse en synkronisering manuelt. Når du er ferdig, blir dataene dine sikkerhetskopiert til BigQuery.
Nå kan du se at mange tabeller er opprettet i datasettet ditt, du kan forhåndsvise data eller lage SQL-spørringer på YouTube-tabellene dine i BigQuery.
Konklusjon
Nå som du har hentet ut YouTube-dataene dine til Google BigQuery, kan du utnytte bigquerys rike analytiske evner for å hente ut mer innsikt fra disse dataene. Du kan også koble BgQuery-tabellene dine til Google Data Studio for å lage rapporter for publikummet ditt.
Leave a Reply