Koncový zákazník v rámci digitalizácie železničnej spoločnosti v Nemecku, vyvíja a prevádzkuje inovatívne riešenia v oblasti Machine Learning a AI.
Kľúčovými oblasťami použitia sú detekcia podvodov v online predaji cestovných lístkov a optimalizácia prevádzkových kontrolných procesov.
Cieľom projektu je vývoj, nasadenie do prevádzky a neustála optimalizácia škálovateľných
AI/ML modelov.Hlavnými zameraniami sú grafové neurónové siete, metódy gradientového posilňovania (Gradient-Boosting), automatizované spracovanie údajov, ako aj budovanie a prevádzka výkonných
MLOps a cloudových infraštruktúr na
AWS.
Riešenia majú zabezpečiť spoľahlivú, vysledovateľnú a efektívnu prevádzku s ohľadom na existujúce požiadavky
v oblasti riadenia a dodržiavania predpisov.
Hlavné úlohy, ktoré budeš zabezpečovať:
- Prevádzka a ďalší vývoj automatizovaných procesov CI/CD na báze GitLab CI v prostredí s viacerými repozitármi,
- Návrh a automatizácia nasadzovania kontajnerov s využitím Artifactory, vrátane kompilácie kontajnerov, skenovania zraniteľností, verzionovania obrazov, ako aj nasadzovania obrazov kontajnerov v AWS ECR pre oddelené testovacie a produkčné prostredia.
- Návrh, implementácia a ďalší vývoj cloudovej infraštruktúry AWS prostredníctvom Infrastructure as Code (CloudFormation, Pulumi), vrátane opakovane použiteľných komponentov infraštruktúry,
- Automatizácia a prevádzka procesov nasadzovania MLOps v AWS SageMaker, vrátane registru modelov, schvaľovacích pracovných postupov, EventBridge, AWS Lambda, ako aj automatizovaného nasadzovania a aktualizácie produkčných inferenčných koncových bodov prostredníctvom GitLab CI.
- Vytvorenie a prevádzka štandardizovaných procesov nasadzovania a vydávania verzií naprieč viacerými účtami a prostrediami AWS,
- Vývoj a prevádzka webových aplikácií a backendových služieb na podporu interných procesov ML/AI a platforiem, vrátane REST API, webových administračných a monitorovacích rozhraní, ako aj integrácie existujúcich cloudových služieb a zdrojov údajov.
- Implementácia a integrácia webových rozhraní a frontendových komponentov, vrátane komunikácie cez API, autentifikácie, autorizácie, ako aj automatizovaného nasadzovania a monitorovania webových aplikácií.
- Implementácia a ďalší rozvoj správy závislostí a vydávania verzií s využitím uv, súkromných registrov balíkov Pythonu prostredníctvom Artifactory a Renovate, ako aj štandardizovaných postupov verzionovania a vydávania verzií.
- Prevádzka a technický rozvoj aplikačnej a dátovej infraštruktúry AWS, najmä Amazon RDS/Aurora, PostgreSQL, Amazon Neptune, Kafka/MSK, ECS Fargate, AWS Lambda, Step Functions, ako aj súkromných rozhraní REST, vrátane konfigurácie, škálovania a optimalizácie prevádzky.
- Integrácia a prevádzka grafovo orientovaných dátových a ML pracovných úloh, najmä s využitím Amazon Neptune, Gremlin a GraphStorm/DGL,
- Návrh a implementácia centrálnych riešení pre monitorovanie a observabilitu s využitím Amazon CloudWatch, AWS X-Ray, SNS a Grafana, vrátane automatizovaného upozorňovania, analýzy chýb a monitorovania produkčných aplikácií a komponentov infraštruktúry.
- Automatizácia bezpečnostných a compliance požiadaviek v rámci cloudovej infraštruktúry a procesov CI/CD, vrátane správy oprávnení IAM podľa princípu minimálnych oprávnení, AWS Secrets Manager, šifrovania KMS, rotácie kľúčov a automatizovaných bezpečnostných kontrol.
- Implementácia a prevádzka automatizovaných procesov uchovávania a mazania údajov v súlade s definovanými požiadavkami na uchovávanie s využitím S3-Tagging, Lifecycle-Policies a AWS Step Functions.
- Prevádzka a automatizácia hybridných procesov prenosu dát medzi úložiskom Azure Blob Storage a AWS S3 so zreteľom na bezpečnosť, spoľahlivosť a vysledovateľnosť.
- Vývoj a prevádzka komponentov infraštruktúry pre systémy agentov umelej inteligencie, vrátane serverov MCP, integrácia nástrojov CLI a externých systémov, ako aj vytváranie riešení pre monitorovanie a observabilitu agentových procesov prostredníctvom Langfuse.
- Zabezpečenie prevádzkovej stability a technickej kvality produkčných cloudových, webových a ML-aplikácií prostredníctvom analýzy chýb, riešenia incidentov, optimalizácie výkonu,
- Vytváranie a údržba technickej infraštruktúrnej a prevádzkovej dokumentácie.
Projekt je naplánovaný na 3 roky. 220 MD je full-remote počas roka, a 20 MD je onsite vo Frankfurte.