Senior Data Engineer Microsoft Fabric

Senior Data Engineer Microsoft Fabric

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• fabric
• pyspark
• SQL
• ci/cd
• Git
• microsoft fabric

O projekcie

Poszukujemy doświadczonej osoby na stanowisko Data Engineer / Senior Data Engineer do długoterminowego projektu związanego z projektowaniem i rozwojem procesów przetwarzania danych w środowisku Microsoft Fabric. To rola dla osoby, która posiada praktyczne doświadczenie w inżynierii danych, dobrze zna Python/PySpark i SQL oraz swobodnie porusza się w środowiskach chmurowych i procesach CI/CD.

Model pracy: hybrydowy Warszawa – 1 dzień w tygodniu z biura, pozostałe dni zdalnie

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• projektowanie i implementację pipeline’ów w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric,
• integrację źródeł plikowych i bazodanowych, w tym walidację techniczną oraz standaryzację danych,
• przygotowywanie i implementację transformacji oraz procesów wsadowych,
• implementację mechanizmów kontroli i monitorowania jakości danych,
• tworzenie mechanizmów raportowania i obsługi błędów,
• wersjonowanie zbiorów danych oraz rejestrowanie metadanych przebiegów procesów,
• pracę zgodnie z praktykami Git, CI/CD oraz code review,
• współpracę z zespołem odpowiedzialnym za obszar ryzyka przy definiowaniu reguł transformacji danych,
• zapewnienie zgodności rozwiązań z wymaganiami dotyczącymi bezpieczeństwa i prywatności danych,
• optymalizację procesów pod kątem wydajności oraz kosztów,
• współpracę z zespołami technicznymi i biznesowymi przy rozwoju środowiska danych.

Nasze wymagania

• Minimum 3 lata doświadczenia zawodowego jako Data Engineer w projektach produkcyjnych,
• bardzo dobra znajomość Python / PySpark oraz SQL,
• praktyczne doświadczenie z platformą przetwarzania danych w chmurze, taką jak Microsoft Fabric, Azure Synapse lub Databricks,
• znajomość architektury warstwowej danych, np. Medallion Architecture,
• znajomość formatów Delta oraz Parquet,
• doświadczenie w pracy z Git w środowisku zespołowym,
• doświadczenie w integracji różnorodnych źródeł danych, w tym danych dostarczanych przez użytkowników biznesowych w formacie Excel,
• znajomość dobrych praktyk związanych z jakością, bezpieczeństwem i zarządzaniem danymi,
• gotowość do podpisania NDA oraz przejścia wymaganej weryfikacji bezpieczeństwa.

Mile widziane

• certyfikat DP-600 lub DP-700,
• doświadczenie w sektorze finansowym lub w środowisku o wysokich wymaganiach regulacyjnych i audytowych,
• znajomość języka R,
• doświadczenie w implementacji procesów CI/CD dla platform danych,
• znajomość frameworków wspierających Data Quality,
• doświadczenie w pracy w metodykach Agile / Scrum

To oferujemy

• udział w długoterminowym projekcie technologicznym,
• pracę przy rozwiązaniach opartych na Microsoft Fabric i nowoczesnych technologiach data engineering,
• hybrydowy model współpracy: 1 dzień w tygodniu w biurze w Warszawie, 4 dni zdalnie,
• możliwość pracy przy projektach obejmujących duże zbiory danych, integrację wielu źródeł oraz wymagania dotyczące jakości i bezpieczeństwa danych,
• współpracę z zespołem technicznym i biznesowym w ramach środowiska projektowego.

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez PEOPLE TRUST SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ z siedzibą w: Aleja Armii Ludowej 26, 00-609 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: Wyświetl e-mail na pracuj.pl.