Data Engineer

• Minimum 3 letnie doświadczenie komercyjne w roli Data Engineera przy realizacji projektów produkcyjnych.
• Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks .
• Znajomość warstwowej architektury danych (medalionowej lub podobnej), formatów Delta Lake/Parquet oraz Azure Data Lake Storage.
• Bardzo dobra znajomość Python (PySpark) oraz SQL , umożliwiająca efektywną pracę z dużymi zbiorami danych.
• Doświadczenie w integracji danych z różnych źródeł, w tym plików Excel od użytkowników biznesowych.

Mile widziane:

• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.
• Doświadczenie w wykorzystaniu CI/CD w projektach data engineering.
• Certyfikat DP-600 lub DP-700.
• Znajomość języka R.

Wspólnie z naszym Partnerem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.

Projekt dotyczy budowy i rozwoju warstwy danych w Microsoft Fabric, integrującej dane z wielu źródeł i przygotowującej wersjonowane, audytowalne zestawy danych na potrzeby modeli ryzyka w sektorze ubezpieczeniowym.

OFERUJEMY:

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu).
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczną formę współpracy B2B.
• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.

13360/RJ

,[Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric, wraz z ich bieżącym rozwojem zgodnie z ustaleniami projektowymi., Wdrożenie mechanizmu wersjonowania zestawów danych oraz rejestracji metadanych przebiegu procesów, w tym źródeł i wersji danych., Opracowanie reguł transformacji oraz zapewnienie zgodności rozwiązania z wymaganiami bezpieczeństwa i prywatności danych., Transformacja i przygotowanie danych wsadowych wraz z implementacją reguł kontroli jakości oraz raportowania błędów., Integracja źródeł plikowych i bazodanowych, w tym onboarding danych, walidacja techniczna i standaryzacja formatów., Zarządzanie kodem w repozytorium Git, z wykorzystaniem code review oraz procesów CI/CD do wdrażania zmian., Optymalizacja procesów pod kątem wydajności, stabilności oraz kosztów działania środowiska Azure.] Requirements: Microsoft Fabric, Azure Data Lake, Python, SQL, Delta Lake, Azure Synapse, Azure Databricks, R Additionally: Sport subscription, Private healthcare.