Top IT - Administrácia/DevOps

Data Scientist AWS

DE - Nemecko
Forma spolupráce: trvalý pracovný pomer, externe (živnosť/sro)
ID projektu: 918

Preferovaný nástup na projekt 1.1.2027

Dĺžka projektu 2027 - 2029

Vyťaženosť Full-Time

Denná sadzba (bez DPH) 440* - 480 EUR / MD

Požadovaná prax 3 roky

Požadovaný jazyk Anglický

Náplň práce

Koncový zákazník v rámci digitalizácie železničnej spoločnosti v Nemecku, vyvíja a prevádzkuje inovatívne riešenia v oblasti Machine Learning a AI.

Kľúčovými oblasťami použitia sú detekcia podvodov v online predaji cestovných lístkov a optimalizácia prevádzkových kontrolných procesov.

Cieľom projektu je vývoj, nasadenie do prevádzky a neustála optimalizácia škálovateľných AI/ML modelov.
Hlavnými zameraniami sú grafové neurónové siete, metódy gradientového posilňovania (Gradient-Boosting), automatizované spracovanie údajov, ako aj budovanie a prevádzka výkonných MLOps a cloudových infraštruktúr na AWS.

Riešenia majú zabezpečiť spoľahlivú, vysledovateľnú a efektívnu prevádzku s ohľadom na existujúce požiadavky
v oblasti riadenia a dodržiavania predpisov.

Hlavné úlohy, ktoré budeš zabezpečovať:
  • Vývoj a prevádzka škálovateľných dátových pipelines na spracovanie štruktúrovaných a neštruktúrovaných dát s využitím Pythonu, PySparku, Delta Lake, Parquetu a polars/pandas, ako aj integrácia zdrojov dát prostredníctvom AWS S3 a Azure Blob Storage,
  • Koncepcia a implementácia procesov spracovania údajov pre Machine Learning (GraphStorm, DGL, PyTorch),
  • Vytváranie a ďalší rozvoj grafových databáz na báze Amazon Neptune a Gremlin,
  • Návrh, implementácia a optimalizácia riešení relačných databáz na báze Amazon Aurora, Amazon RDS a PostgreSQL, vrátane návrhu schém, integrácie údajov a optimalizácie dotazov,
  • Vývoj a prevádzka automatizovaných Pipelines na spracovanie údajov a Machine Learning na AWS SageMaker,
  • Vývoj a technická integrácia produkčných ML-komponentov na báze grafových neurónových sietí a gradientového boostingu (XGBoost), 
  • Vývoj a integrácia dátových a inferenčných rozhraní s využitím AWS Lambda, API Gateway a Step Functions, ako aj implementácia spracovania dát riadeného udalosťami prostredníctvom Kafka/MSK.
  • Automatizácia dátových infraštruktúrnych a vývojových procesov prostredníctvom Infrastructure as Code (CloudFormation, Pulumi), 
  • Technická integrácia agentových systémov založených na AI, vrátane prepojenia s externými systémami (GitLab, ITSM), integrácie protokolu Model Context Protocol (MCP) a prepojenia s riešeniami pre monitorovanie a observabilitu prostredníctvom Langfuse,
  • Vývoj vizualizácií dát a analytických dashboardov na báze Grafana a Plotly na monitorovanie procesov spracovania dát a prezentáciu relevantných výsledkov analýz a modelov,
  • Zabezpečenie kvality, optimalizácia výkonu a technická dokumentácia vyvinutých dátových architektúr, dátových pipelines a ML-komponentov s ohľadom na existujúce vývojové štandardy, ako aj požiadavky na riadenie a súlad s predpismi.

Poznámka

Projekt je naplánovaný na 3 roky. 220 MD je full-remote počas roka, a 20 MD je onsite vo Frankfurte.

Technické požiadavky

Must-have požiadavky:
  • Praktické skúsenosti s GraphStorm alebo DGL (Deep Graph Library), vrátane konštrukcie grafov a spracovania údajov - minimálne 1 projektová referencia
  • Praktické skúsenosti s AWS SageMaker, najmä s pipeline, úlohami spracovania a úlohami trénovania, Model Registry a produktívnymi Endpoints, minimálne 3 roky 
  • Pracovné skúsenosti v oblasti Data Engineering a/alebo MLOps Engineering s produktívne prevádzkovanými dátovými a ML riešeniami, minimálne 2 projektové referencie
  • Praktické skúsenosti s „Infrastructure as Code“ s využitím AWS CloudFormation alebo Pulumi, minimálne 1 projektová referencia
  • Preukázané skúsenosti s vývojom a prevádzkou automatizovaných dátových pipelines pre štruktúrované a neštruktúrované dáta, minimálne 1 projektová referencia
Nice-to-have požiadavky:
  • Skúsenosti s event-streamingom a spracovaním údajov riadeným udalosťami na Využitie Apache Kafka alebo AWS MSK, minimálne 1 projektová referencia
  • Skúsenosti s XGBoost vrátane integrácie do produkčných ML procesov, minimálne 1 projektová referencia
  • Skúsenosti s metódami vysvetliteľnej umelej inteligencie (SHAP), vrátane integrácie do produktívnych ML procesov, minimálne 1 projektová referencia
  • Skúsenosti s agentovými systémami umelej inteligencie, ModelContext Protocol (MCP), ako aj s integráciou externých systémov a observability (Langfuse), minimálne 1 projektová referencia
  • Skúsenosti s distribuovanými a cloudovými rámcami na spracovanie dát (PySpark, Delta Lake), ako aj s integráciou dát prostredníctvom AWS S3 a Azure Blob Storage, minimálne 1 projektová referencia