Vilka färdigheter behöver du för att bli dataingenjör

Den här artikeln försöker exemplifiera de färdigheter du behöver för att bli dataingenjör, mitt tillvägagångssätt kommer att vara att förklara vad jag letar efter i en idealisk Data Engineer.

  • SQL: Din första gissning var rätt. SQL anses vara lingua franca för datateknik. Solida SQL-kunskaper är ett måste och ger dig ett jobb ganska snabbt.
  • Python: Det här blir viktigare för varje dag. Tack vare Pandas, Numpy och PySpark. Beroende på mängden data kommer du att börja använda distribuerade arkitekturer och du kan behöva denna eller Scala.
  • Moln: Många frågar vilket moln jag ska lära mig. Detta är ett sammansatt svar: beror och spelar ingen roll. Beror på klienterna du kommer att arbeta med (stora företag kan gå med Azure eller AWS, Startup med AWS, jag har inte sett mycket av GCP men vissa företag använder det) och geografin. Varför spelar ingen roll? När du väl har lärt dig molnkoncepten och fått lite erfarenhet av en leverantör är det ganska lätt att flytta till nästa.
  • Kommunikationsförmåga: Du behöver inte vara värd för Oscarsgalan. Om du kan förklara ett tekniskt koncept för en icke-teknisk person kommer du att bli en superhjälte ganska snabbt.
  • Engelska: Om engelska inte är ditt modersmål (som mitt fall :-)), polera det tillräckligt mycket för att kunna kommunicera i en affärsmiljö. Dessa kommer att öppna många dörrar för dig.
  • Data Warehouse-koncept: Vad är fakta- och dimensionstabeller? Vad är en datamart? När ska jag använda en databas eller en datasjö?
  • Distribuerade arkitekturer: Baserat på mängden data behöver du ett Spark Cluster. Att känna dig runt dessa arkitekturer och förstå hur de fungerar skulle hjälpa dig mycket. Detta kanske inte är nödvändigt för alla projekt, men det är bra att ha det till ditt förfogande.

Du behöver inte allt detta för att få ett jobb som dataingenjör, men dessa färdigheter kommer att göra dig till ett expert när intervjukommittén diskuterar din intervju.

Låt oss gå tillbaka till varför. Jag har några idéer som definitivt kommer att kräva ytterligare utforskande:

Data Engineer är inte lika sexig som Data Scientist. Kanske? Jag vet att det finns mycket hype kring Data Science och det är en rolig roll. Du kan se detta som ett steg före Data Science, ett sätt att få in foten inom dörren.

Jag vill inte bli dataingenjör eftersom det kan göra det svårare att bli dataforskare. Nej min vän. Det här är inte en landningsplats. Du kan arbeta som Dataingenjör och bli Data Scientist. Detta är inte ett livsval. Mångsidigheten kan göra dig supervärd för alla företag.

Det är svårt och dyrt att bli dataingenjör. Vet inte. Det finns massor av resurser. Utmaningen är att säga signal vs brus. Du kan till och med få rabatterade certifieringar.

Intervjuer för dataproffs är ansträngande. Detta kan vara sant i vissa företag. Intervjun är ett spel. Du måste öva och förbereda dig. De flesta intervjuerna följer ett känt mönster. Kom också ihåg att det finns mycket chanser inblandade.

Jag har pratat tillräckligt om varför inte. Låt oss tänka på några positiva saker:

Vi behöver dig i denna guldrush! Tänk på Dataingenjörer som den som bygger pipelines som gör att vi kan utvinna guld. Dataforskare bygger vackra saker med guld. Men gissa vad som händer om de inte har guld?

Företag söker dataingenjörer. Med tanke på bristen kommer du att hitta en bra lön, fina förmåner och det blir lätt att hitta något annat om du inte gillar ditt nuvarande företag.

Det är lättare att bli dataingenjör än dataforskare. Detta tar dig snabbare till pengarna och sedan om du vill kan du fortfarande bli en Data Scientist.


Posted

in

, ,

by

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *