Hur ofta har du fått ett meddelande från en stakeholder som säger att en dashboard är nere, data inte har uppdaterats på en vecka eller att specifika siffror ser fel ut?
Detta har hänt alldeles för många gånger för att räknas. Varför är det så?
Eftersom det saknas förtroende för vår gamla datastack, har intressenter haft ett för många problem med att datauppsättningar går sönder och inte kan se de insikter de behöver när de behöver dem.
När du bygger en modern datastack måste du sakta bygga upp förtroende från början. Du måste implementera de rätta testerna och kontrollerna för att säkerställa att data uppfyller dina förväntningar. Du måste vara öppen och ärlig om de initiativ du arbetar med och vad som kan gå fel i processen.
Ställ in tester för att varna dig om datakvalitetsproblem vid källan.
Att testa och övervaka dina rådata och dina datamodeller är nyckeln för att upptäcka eventuella betydande problem i din data. Det finns två gratisverktyg du kan använda för att göra detta.
dbt tester
dbt-tester är inbyggda i alla dbt-projekt. De låter dig söka efter nollvärden, primärnycklar och vissa specificerade värden. Du kan lägga till dessa till dina basmodeller för att kontrollera dina data vid källan eller till dina kärndatamodeller för att säkerställa att du fick de resultat du förväntade dig.
Du lägger helt enkelt till “test”-blocket i dina yaml-filer där du definierar dbt-modellerna. dbt kommer sedan att köra dessa kontroller när dina modeller körs och varna dig när en kolumn i modellen inte uppfyller kontrollen du har satt på plats.
re_data metrics
re_data är ett dbt-paket med öppen källkod som låter dig övervaka på kolumn- och tabellnivå. Den innehåller mätvärden som radantal, färskhet och nollantal.
För specifika mätvärden beräknar re_data medelvärden och använder sedan en angiven z-poäng för att upptäcka anomalier i din data. När datamängden är utanför den z-poängen får du en varning. Du kan läsa mer om hur du ställer in dessa genom att kolla in det här inlägget.
Få varningar före dina stakeholders
Om något är fel, säg något innan de kommer på det själva! Att vara helt transparent kan räcka långt. Om du är öppen och ärlig när något går sönder kommer du att skapa en bättre relation än att försöka dölja ett problem bara för att de ska upptäcka det själva.
Detta går hand i hand med att sätta upp tester för att varna dig om problem vid källan. Om du får varningar innan något nedströms påverkas kan du komma till grundorsaken och åtgärda problemet eller så kan du låta andra team veta innan de går för att använda nedströmsmodellerna eller instrumentpanelerna.
Att skapa transparens inom din organisation är en högsta prioritet. Det kan vara frustrerande när allt går fel. Det är frestande att dölja alla problem med att bygga en ny datakultur från grunden. Men, det tar tid. Och du kan bygga förtroende samtidigt som du kommunicerar att det inte är en process över en natt.
Utbilda om din data och hur saker och ting görs.
Även att utbilda affärsteam om dina dataprocesser kan bidra till att skapa transparens och förtroende för din data. Om du kan hjälpa dem att förstå alla problem du försöker åtgärda, kan de vara mer empatiska när deras instrumentpaneler är nere.
Affärsteam har en uppfattning om vad de tror att vi gör, vilket vanligtvis inte är i närheten av vad vi faktiskt gör. Så visa dem vad du faktiskt gör! Dela med dem din färdplan och mål för framtiden.
Skapa en insiktskanal på ditt företag som alla inom företaget kan gå med i. Dela delar av vår färdplan och varför bakom varje initiativ. Tänk på din slutanvändare och vad de bryr sig om. Om du ramar in saker på ett sätt som betyder något för dem, kommer de att vara mer förlåtande under hela moderniseringsprocessen.
Vad bör du tänka på när du delar insikter med företagsanvändare?
- ta itu med det aktuella problemet
- förklara varför i förhållande till dem
- använda lekmannavillkor
De kanske inte förstår vad ett lager eller pipeline är. Använd istället fraser som “var data lagras” och “hur data rör sig”.
Slutsats
Att bygga förtroende mellan intressenter och din data är som att bygga förtroende i vilken relation som helst. När det förtroendet väl är brutet är det svårt att bygga upp det igen. Börja sakta bygga förtroende med din data från första början genom testning, transparens och utbildning. Detta kommer att skapa öppen och ärlig kommunikation och lämna utrymme för frågor innan något går fel.
Leave a Reply