Senior MLOps Engineer
Chcesz wdrażać modele ML, masz doświadczenie w sektorze bankowym i fascynują Cię technologie chmurowe? Dołącz do j‑labs!
B2B: 180 – 210 PLN netto/h
Lokalizacja: Kraków / Zdalnie
O projekcie
- Projekt wykorzystuje narzędzia Machine Learning (ML) w celu poprawy wykrywania oraz zmniejszenia liczby przestępstw finansowych.
- Rozbudowa i rozwój nowej architektury i procesów MLOps.
- Współpraca z zespołem Data Scientists w celu przekształcania złożonych modeli ML w rozwiązania produkcyjne. Zespół skupia się na wdrażaniu, utrzymaniu i optymalizacji modeli.
- Projekt daje możliwość budowania wydajnych i skalowalnych pipeline’ów Machine Learning na platformie Google Cloud, zapewniając jednocześnie integrację ze środowiskami lokalnymi.
- Technologie w projekcie: Python, PySpark, Docker, Jupyter, Airflow, Java, GCP, BigQuery, Cloud Storage, Cloud Composer, Vertex AI, Dataproc, Compute Engine, CI/CD, Terraform, Terragrunt, Jenkins, Groovy, Crane, Kaniko.
- Lokalizacja: Kraków, hybryda – 1x w tygodniu praca z biura.
Twoje zadania
- Ścisła współpraca z zespołem Data Scientists w celu przygotowania i wstępnego przetwarzania danych do treningu i oceny modeli.
- Wdrażanie i zarządzanie modelami ML na platformie Vertex AI w GCP, zapewniając ich wydajność i skalowalność.
- Opracowywanie technik wizualizacji i wyjaśniania zachowań modeli, aby zapewnić przejrzystość i odpowiedzialność modelu zgodnie z wytycznymi PRA S51/23.
- Współpraca z zespołami infrastruktury i DevOps w celu ustalenia wydajnych strategii wdrażania i skalowania.
- Budowanie i utrzymywanie pipeline’ów do treningu, strojenia i wdrażania modeli z wykorzystaniem komponentów Vertex AI i narzędzi GCP, takich jak Cloud Composer, przy użyciu Pythona, Javy i Big Query.
- Implementowanie zautomatyzowanego monitoringu, aby śledzić wydajność modeli i identyfikować potencjalne problemy.
- Opracowywanie i utrzymywanie kontroli jakości danych oraz walidacji, w tym rekonsyliacji, zgodnie z zasadami kontroli jakości danych i przechowywania danych.
- Wdrażanie solidnych środków ochrony danych, aby chronić wrażliwe informacje i modele.
- Ustanowienie i utrzymywanie najlepszych praktyk w zakresie MLOps, w tym kontrola wersji, pipeline’y CI/CD oraz rejestr modeli i punkty końcowe Vertex AI.
- Implementowanie narzędzi MLOps w celu uproszczenia procesu rozwoju modeli, treningu, strojenia, wdrażania, monitorowania i wyjaśniania.
- Identyfikowanie i rozwiązywanie problemów związanych z wydajnością modeli ML i pipeline’ów.
- Rozwiązywanie problemów związanych z ML, aby zapewnić optymalną wydajność modeli i optymalizację kosztów.
Wymagania
- Minimum 8 lat doświadczenia w programowaniu w języku Python – wiedza na poziomie eksperta.
- Doświadczenie w pracy z GCP, w tym BigQuery, Cloud Composer i Vertex AI.
- Biegłość w inżynierii danych i rozwoju pipeline’ów.
- Doświadczenie w zakresie zasad i narzędzi MLOps.
- Doskonałe umiejętności komunikacyjne, silne umiejętności analityczne i rozwiązywania problemów.
- Znajomość języka angielskiego i polskiego – poziom min. B2/C1.
Mile widziane
- Doświadczenie w projektowaniu, tworzeniu oraz utrzymywaniu rozproszonych systemów w języku Java.