Spark / Data Lakehouse Developer (k/m/x)

Wymagane, Apache Spark, Spark SQ, L DataFrames, Apache Iceberg, MongoDB, Python, Jenkins, Prometheus, Grafana

Mile widziane, MongoDB Spark Connector, Structured Streaming, Delta Lak, e Apache Hudi, Jira, Confluence

O projekcie, Projekt realizowany jest w ramach zespołu Data Platform, a bieżące prace koncentrują się na rekoncyliacji i procesach przetwarzania danych. Rozwiązania rozwijane są w architekturze Data Lakehouse z wykorzystaniem Apache Iceberg jako głównego formatu tabel. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, a rozwiązania streamingowe planowane są w przyszłości.

Tak pracujemy, agile, scrum, kanban

Twój zakres obowiązków, Projektowanie i implementacja procesów w Spark SQL / PySpark, Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi, Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii, Integracja Apache Spark z MongoDB, Budowa i rozwój warstw Data Lakehouse, Optymalizacja wydajności procesów Spark, Rozwój CI/CD dla aplikacji i procesów danych oraz monitoring i diagnozowanie problemów produkcyjnych

Doświadczenie w projektowaniu i implementacji procesów przetwarzania danych w Apache Spark, Spark SQL oraz PySpark z wykorzystaniem DataFrames, Znajomość Apache Iceberg jako formatu tabel w architekturze Data Lakehouse, Doświadczenie w pracy z MongoDB, w tym integracji z Apache Spark, Umiejętność programowania w Pythonie w kontekście przetwarzania danych, Doświadczenie w konfiguracji i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins, Znajomość narzędzi monitoringu Prometheus i Grafana w kontekście diagnozowania procesów danych, Doświadczenie w pracy w metodyce Scrum

Mile widziane, Znajomość MongoDB Spark Connector, Doświadczenie w przetwarzaniu strumieniowym (Structured Streaming), Znajomość Delta Lake, Znajomość Apache Hudi, Doświadczenie w pracy w metodyce Kanban, Znajomość Jira, Znajomość Confluence

To oferujemy, Kontrakt B2B, Praca zdalna, Język pracy: polski + angielski, Prywatna opieka medyczna, Dofinansowanie zajęć sportowych, Wsparcie formalne od dokumentów po onboarding

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna

Etapy rekrutacji, Rozmowa z rekruterem, Rozmowa techniczna, Rozmowa z Klientem

B2B.NET S.A., B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.