Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Data Engineer (Python, Apache Spark, Hadoop) (m/n/k)

Miejsce pracy: Kraków

Technologie, których używamy

Wymagane

• Jenkins
• Python
• PySpark
• Hadoop
• Spark
• BigQuery
• Google Cloud Platform
• SQL

O projekcie

Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta

Twój zakres obowiązków

• Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data.
• Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop.
• Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję.
• Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark.
• Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery).
• Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Nasze wymagania

• Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych.
• Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu).
• Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów).
• Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych.
• Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage.
• Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins).
• Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

Mile widziane

• Doświadczenie w domenie bankowej lub finansowej.

To oferujemy

• Stabilność zatrudnienia – długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT.
• Elastyczne formy współpracy – umowa B2B, umowa o pracę lub zlecenie.
• Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego.
• Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów.
• Wewnętrzny program poleceń.
• Możliwość finansowania certyfikatów IT.
• W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym.
• Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem.
• Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• dofinansowanie szkoleń i kursów
• owoce
• spotkania integracyjne
• opieka stomatologiczna
• kawa / herbata
• program rekomendacji pracowników
• inicjatywy dobroczynne
• angielski

Nexio Management Sp. z o.o.

Nexio Management to zaufany partner biznesowy w drodze do cyfrowej przyszłości. Posiadamy prawie 20-letnie doświadczenie na rynku IT w Polsce i poza jej granicami. Prowadzimy działania w oparciu o transparentne i szczere relacje. Tworzymy innowacyjne rozwiązania technologiczne, kreując przy tym interesujące i rozwojowe środowisko pracy dla naszych ekspertów. Obecnie zatrudniamy 550 konsultantów, którzy świadczą usługi IT dla Klientów na całym świecie. Nasza główna siedziba mieści się w Warszawie, poza tym mamy biura w Rumunii oraz Wielkiej Brytanii. Posiadamy również własne R&D Center, które jest miejscem powstawania innowacyjnych projektów m.in.: w obszarach testów, Big Data, Cloud czy AI.W ramach naszych usług tworzymy szyte na miarę rozwiązania, utrzymujemy i rozwijamy nawet najbardziej wymagające systemy IT. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Nexio Management Sp. z o.o. z siedzibą w: Puławska 182, 02-670 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: Wyświetl e-mail na pracuj.pl.