Data Flow Engineer [K/M]

Data Flow Engineer [K/M]

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Apache NiFi
• Python
• Apache Iceberg
• Apache Atlas
• Apache Ranger
• Apache Avro
• Apache Kafka

Mile widziane

• Cloudera Data Platform

O projekcie

W Fabrity przygotowujemy się do realizacji nowych projektów IT dla naszego klienta – agencji Unii Europejskiej. Inicjatywa obejmuje szeroki zakres działań związanych z projektowaniem, wdrażaniem, utrzymaniem i rozwojem usług oraz systemów informatycznych. Projekty będą dotyczyć zarówno tworzenia nowych rozwiązań ICT, jak i wsparcia istniejących systemów. Obejmą prace związane z implementacją, konfiguracją, integracją systemów oraz ich bieżącą obsługą operacyjną. Zakres działań może obejmować różne technologie – od systemów legacy, przez aktualnie stosowane platformy, po nowe i rozwijające się rozwiązania – a także obszary takie jak architektura korporacyjna, bezpieczeństwo informacji oraz zarządzanie usługami IT.

OCZEKIWANIA WZGLĘDEM CERTYFIKATÓW:

Wymagany co najmniej 1 certyfikat spośród poniższych:

• Cloudera Certified Developer for Apache NiFi lub certyfikat równoważny

• Certyfikat powiązany z Cloudera DataFlow (CFM) lub certyfikat równoważny

Twój zakres obowiązków

• Projektowanie, implementacja, testowanie i utrzymanie złożonych przepływów danych w Cloudera DataFlow (Apache NiFi) – ingest, transformacja, wzbogacanie, routing i dystrybucja danych
• Budowa i optymalizacja pipeline’ów CDC (real‑time / near‑real‑time) z wykorzystaniem NiFi, Kafka oraz Debezium / konektorów SQL CDC
• Integracja platformy danych z innymi systemami oraz zewnętrznymi źródłami danych (REST API, JDBC, Kafka i inne protokoły)
• Zarządzanie schematami danych (Avro), metadanymi oraz lineage w Apache Atlas
• Konfiguracja bezpieczeństwa i governance przepływów danych (polityki Apache Ranger)
• Monitorowanie, alertowanie oraz rozwiązywanie problemów wydajnościowych i niezawodności pipeline’ów danych
• Współpraca z data engineerami, architektami oraz interesariuszami biznesowymi przy definiowaniu wymagań i architektury przepływów danych
• Tworzenie i utrzymanie dokumentacji operacyjnej (SOP, runbooki) dla przepływów danych
• Udział w aktualizacjach i migracjach środowisk CDP / NiFi / Kafka

Nasze wymagania

• Minimum 2–3 lata praktycznego doświadczenia w codziennej pracy z Apache NiFi, preferencyjnie w środowisku Cloudera Data Platform (projektowanie, wdrażanie, monitoring, troubleshooting zaawansowanych flow)
• Udokumentowane doświadczenie w realizacji co najmniej jednego dużego projektu integracyjnego, w którym NiFi pełnił centralną rolę
• Zaawansowana wiedza w zakresie projektowania i utrzymywania złożonych przepływów danych w Apache NiFi
• Bardzo dobra znajomość Pythona (przetwarzanie danych, automatyzacja, logika niestandardowa, integracje)
• Doświadczenie w integracjach opartych o REST API (uwierzytelnianie OAuth/JWT, obsługa błędów, rate limiting)
• Praktyczna wiedza i doświadczenie w pipeline’ach CDC do/z relacyjnych baz danych
• Znajomość Apache Iceberg (tworzenie i zarządzanie tabelami, ewolucja schematów)
• Doświadczenie w zarządzaniu data governance i lineage w Apache Atlas oraz bezpieczeństwem w Apache Ranger
• Doświadczenie w pracy z Apache Kafka w ekosystemie CDP oraz ze standardem serializacji Apache Avro

To oferujemy

• Benefity w ramach systemu kafeteryjnego
• Współpracę w oparciu o umowę B2B
• Możliwość realizacji usług w modelu stacjonarnym z lokalizacji biura naszego klienta (Warszawa)
• Zaangażowanie w projekt mający realny wpływ na kierunek rozwoju biznesu naszego klienta
• Realizację usług dla prestiżowej instytucji publicznej

FABRITY S.A.

Fabrity S.A. to dynamicznie rozwijająca się firma technologiczna, specjalizująca się w inżynierii oprogramowania, generatywnej sztucznej inteligencji oraz przemysłowym Internecie rzeczy (IoT). Tworzymy kompleksowe rozwiązania, które pomagają przedsiębiorstwom automatyzować procesy, zwiększać efektywność operacyjną oraz podejmować kluczowe decyzje dzięki skutecznej analizie danych. Usprawniamy procesy biznesowe, wykorzystując wiodące platformy, takie jak ServiceNow, Microsoft Power Platform oraz nasz autorski produkt low-code, Fastive. Dzięki temu wspieramy organizacje w ich cyfrowej transformacji, minimalizując przestoje i optymalizując operacje na każdym etapie. Pracujemy dla firm z różnych branż, w tym farmaceutycznej, ochrony zdrowia, usług finansowych, produkcji, motoryzacji i handlu detalicznego. Zaufały nam znane marki, między innymi ABB, Bayer, Carrefour, PKO BP, Dormakaba, Sanofi, Toyota Bank, Frontex, Liebherr, Pepsico i Saint-Gobain.

Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".