Een datawarehouse migreren naar een lakehouse op Azure Databricks

Vattenfall is een Zweeds energie- en nutsbedrijf. Hun datawarehouse op Azure — gebouwd op Analysis Services, Synapse en Databricks — kampte met prestatie-, onderhouds- en kostenproblemen. Ik maakte deel uit van een nieuw scrumteam dat dit datawarehouse migreerde naar een moderne lakehouse-architectuur op basis van Databricks en dbt.

Als data engineer en solution architect was ik verantwoordelijk voor het ontwerpen van de nieuwe architectuur, het bepalen van de technologiestack, het opzetten van de infrastructuur en CI/CD-pijplijnen, het trainen van het team in de gekozen technologieën, het ontsluiten van de databronnen met Databricks-notebooks (PySpark) en de kwaliteitsborging.