Data Engineer - Azure Databricks

Pre nášho top rakúskeho partnera hľadáme skúseného Data Engineera, ktorý sa zapojí do projektu v oblasti budovania a rozvoja moderných dátových platforiem v prostredí Microsoft Azure, a primárne bude pracovať na platforme Azure Databricks.

Budete súčasťou tímu zameraného na spracovanie dát, pokročilú analytiku, cloudové riešenia a implementáciu Machine Learning procesov. Projekt je realizovaný pre významnú spoločnosť pôsobiacu v sektore energetiky a utilít, pričom komunikácia prebieha v nemeckom jazyku.

Hlavné aktivity na projekte:

Návrh, vývoj a prevádzka dátových riešení postavených na platforme Azure Databricks.

Implementácia a optimalizácia ETL/ELT procesov pre spracovanie veľkých objemov dát z rôznych zdrojov.

Tvorba a správa dátových modelov, dátových produktov a dátových tokov v cloudovom prostredí Azure.

Automatizácia deployment procesov a budovanie CI/CD pipeline pomocou Azure DevOps.

Implementácia a rozvoj MLOps riešení vrátane automatizovaného nasadzovania, monitorovania a správy ML modelov.

Spolupráca s dátovými analytikmi, Data Scientistami, architektmi a business tímami pri návrhu technických riešení.

Monitoring, troubleshooting a výkonnostná optimalizácia dátovej platformy vrátane riešenia prevádzkových incidentov.

Definovanie a presadzovanie best practices v oblasti cloudovej architektúry, Data Engineeringu, Data Governance a DevOps procesov.