Het dataplatform van Clay verbeteren

Clay had meerdere slecht presterende Databricks-jobs die verbetering nodig hadden en wilde Elasticsearch opnemen in hun dataplatform. Door veel wisselingen in het ontwikkelteam was er geen consensus over hoe de oplossing gebouwd en onderhouden moest worden.

Als data engineer was ik verantwoordelijk voor het bouwen van een Elasticsearch-component, het verbeteren van de ontwikkelpraktijken, het verbeteren van CI/CD en het herbouwen van de slecht presterende Databricks-jobs.