Azure Data Engineer Oferta pracy

O projekcie

• Pracuj nad nowoczesnymi aplikacjami sprzedażowymi, które wspierają m.in. sprzedaż usług online, tworzenie e-umów i e-faktur.
• Twoje pomysły i decyzje będą miały realny wpływ na wybór narzędzi i technologii, które wdrażamy.
• Dołączysz do zgranego zespołu, w którym znajdziesz Fullstack Developerów, Architekta oraz Testerów.
• Praca w metodyce Scrum, co pozwala elastycznie reagować na potrzeby projektu i tworzyć rozwiązania o najwyższej jakości.
• Praca w modelu hybrydowym – spotkania w biurze w Warszawie dwa razy w tygodniu.

Wymagania

• Min. 7-letnie doświadczenie programistyczne w Javie.
• Bardzo dobra znajomość Spring, Spring Boot.
• Doświadczenie w tworzeniu frontendu (React lub Angular).
• Znajomość technik BDD, TDD.
• Znajomość baz relacyjnych i nierelacyjnych.
• Bardzo dobra znajomość REST.
• Bardzo dobra znajomość systemu kontroli wersji Git.
• Bardzo dobra znajomość języka angielskiego (min. B2).

O projekcie

• Projekt obejmuje budowę infrastruktury danych, procesów ETL oraz współpracę z globalnymi zespołami w Europie, Indiach i Ameryce Łacińskiej, ze szczególnym naciskiem na rozbudowę kompetencji inżynierskich w Polsce.
• Zespół koncentruje się na tworzeniu dashboardów w narzędziach takich jak Google Looker i Looker Studio, przekształcających surowe dane w czytelne, wizualnie atrakcyjne raporty dla klientów wewnętrznych oraz na budowaniu potoków ETL i transformacji danych.
• Praca hybrydowa – z biura w Krakowie 2x w tygodniu.

Twoje zadania

• Tworzenie dashboardów w narzędziach BI – Google Looker i Looker Studio.
• Współpraca z interesariuszami w celu zrozumienia ich wymagań i dostarczenia spersonalizowanych dashboardów spełniających ich potrzeby.
• Wsparcie procesu ETL w DBT i Google BigQuery: pozyskiwanie, oczyszczanie i prezentacja danych – projektowanie, rozwój, testowanie, kodowanie i wdrażanie do produkcji.
• Nacisk na jakość i ograniczenia czasowe.
• Praca z globalnymi, różnorodnymi zespołami.
• Praca w zwinnej kulturze zorientowanej na produkt.

Wymagania

• Co najmniej 7-letnie doświadczenie zawodowe w tym w rozwoju BI, tworzeniu dashboardów oraz w pracy z SQL.
• Doświadczenie w pracy z Google Looker i Looker Studio.
• Doświadczenie w inżynierii danych, rozwoju ETL w SQL.
• Doświadczenie w GCP, Big Query oraz DBT.
• Doświadczenie w implementacji zautomatyzowanych rozwiązań zapewniających jakość danych.
• Doświadczenie w podejmowaniu decyzji projektowych dotyczących schematów i hurtowni danych.
• Doświadczenie w orkiestracji i harmonogramowaniu.
• Doświadczenie w pracy w środowisku DevOps (czyli myślenie, budowanie i uruchamianie).
• Doświadczenie w Continuous Integration, Continuous Delivery.
• Biegła znajomość języka polskiego oraz angielskiego.

Mile widziane

• Doświadczenie w modelowaniu danych.
• Doświadczenie w budowaniu i/lub zarządzaniu chmurowymi platformami danych.
• Doświadczenie w używaniu Git, skryptowania powłokowego, Pythona.
• Doświadczenie w architekturze danych.

O projekcie

• Projekt wykorzystuje narzędzia Machine Learning (ML) w celu poprawy wykrywania oraz zmniejszenia liczby przestępstw finansowych.
• Rozbudowa i rozwój nowej architektury i procesów MLOps.
• Współpraca z zespołem Data Scientists w celu przekształcania złożonych modeli ML w rozwiązania produkcyjne. Zespół skupia się na wdrażaniu, utrzymaniu i optymalizacji modeli.
• Projekt daje możliwość budowania wydajnych i skalowalnych pipeline’ów Machine Learning na platformie Google Cloud, zapewniając jednocześnie integrację ze środowiskami lokalnymi.
• Technologie w projekcie: Python, PySpark, Docker, Jupyter, Airflow, Java, GCP, BigQuery, Cloud Storage, Cloud Composer, Vertex AI, Dataproc, Compute Engine, CI/CD, Terraform, Terragrunt, Jenkins, Groovy, Crane, Kaniko.
• Lokalizacja: Kraków, hybryda – 1x w tygodniu praca z biura.

Twoje zadania

• Ścisła współpraca z zespołem Data Scientists w celu przygotowania i wstępnego przetwarzania danych do treningu i oceny modeli.
• Wdrażanie i zarządzanie modelami ML na platformie Vertex AI w GCP, zapewniając ich wydajność i skalowalność.
• Opracowywanie technik wizualizacji i wyjaśniania zachowań modeli, aby zapewnić przejrzystość i odpowiedzialność modelu zgodnie z wytycznymi PRA S51/23.
• Współpraca z zespołami infrastruktury i DevOps w celu ustalenia wydajnych strategii wdrażania i skalowania.
• Budowanie i utrzymywanie pipeline’ów do treningu, strojenia i wdrażania modeli z wykorzystaniem komponentów Vertex AI i narzędzi GCP, takich jak Cloud Composer, przy użyciu Pythona, Javy i Big Query.
• Implementowanie zautomatyzowanego monitoringu, aby śledzić wydajność modeli i identyfikować potencjalne problemy.
• Opracowywanie i utrzymywanie kontroli jakości danych oraz walidacji, w tym rekonsyliacji, zgodnie z zasadami kontroli jakości danych i przechowywania danych.
• Wdrażanie solidnych środków ochrony danych, aby chronić wrażliwe informacje i modele.
• Ustanowienie i utrzymywanie najlepszych praktyk w zakresie MLOps, w tym kontrola wersji, pipeline’y CI/CD oraz rejestr modeli i punkty końcowe Vertex AI.
• Implementowanie narzędzi MLOps w celu uproszczenia procesu rozwoju modeli, treningu, strojenia, wdrażania, monitorowania i wyjaśniania.
• Identyfikowanie i rozwiązywanie problemów związanych z wydajnością modeli ML i pipeline’ów.
• Rozwiązywanie problemów związanych z ML, aby zapewnić optymalną wydajność modeli i optymalizację kosztów.

Wymagania

• Minimum 8 lat doświadczenia w programowaniu w języku Python – wiedza na poziomie eksperta.
• Doświadczenie w pracy z GCP, w tym BigQuery, Cloud Composer i Vertex AI.
• Biegłość w inżynierii danych i rozwoju pipeline’ów.
• Doświadczenie w zakresie zasad i narzędzi MLOps.
• Doskonałe umiejętności komunikacyjne, silne umiejętności analityczne i rozwiązywania problemów.
• Znajomość języka angielskiego i polskiego – poziom min. B2/C1.

Mile widziane

• Doświadczenie w projektowaniu, tworzeniu oraz utrzymywaniu rozproszonych systemów w języku Java.

O projekcie

• Dołączysz do zespołu inżynierów wspierających rozwój serwisów backendowych w dziale Shop Development.
• Klientem jest niemiecki lider w sprzedaży produktów mobilnych, szerokopasmowych, akcesoriów oraz usług cloudowych.
• Twoja praca będzie związana z rozwojem serwisów odpowiadających za dostarczanie danych technicznych do sklepu w kontekście ofert oraz bundli (pakietów) produktów.
• Projekt wymaga elastyczności ze względu na:
  • dynamicznie zmieniające się priorytety wynikające z sytuacji rynkowej,
  • złożoność przetwarzania danych w dużej skali.
• Głównym celem jest wsparcie w utrzymaniu i rozwoju wysokowydajnych, skalowalnych rozwiązań backendowych kluczowych dla funkcjonowania sklepu.

Twoje zadania

• Rozwój i implementacja serwisów backendowych w środowisku mikroserwisów.
• Współpraca z biznesem (głównie niemieckojęzycznym) w celu implementacji wymagań.
• Samodzielne zarządzanie zadaniami oraz dostarczanie rozwiązań na środowisko produkcyjne.

Wymagania

• Minimum 5 lat doświadczenia w programowaniu w Javie.
• Znajomość technologii:
  • Java 17+, Spring Boot, JPA/Hibernate, REST API,
  • Kubernetes, Jenkins, GIT.
• Znajomość języka niemieckiego na poziomie komunikatywnym (B1+).
• Umiejętność pisania testów jednostkowych i integracyjnych (JUnit, Mockito, WireMock).
• Doświadczenie w pracy w środowisku mikroserwisów.
• Znajomość języka angielskiego na poziomie B2.