Utwórz profil, aby pracodawcy mogli Cię znaleźć, otrzymywać lepiej dopasowane oferty pracy i szybciej aplikować.
  • Wyszukiwanie ofert pracy
  • Zapisane
  • Stwórz CV
    Nowe
  • Wynagrodzenia
  • Subskrypcje

Senior Data Engineer (Spark)

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Wrocław
  • Praca zdalna

Wymagane, Apache Spark, MongoDB, Spark, Python, Prometheus, Grafana, Jira, Confluence

Mile widziane, Docker, Kubernetes, OpenTelemetry, Dynatrace

O projekcie, Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi., , Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).

Twój zakres obowiązków, Rekoncyliacja i jakość danych, , - Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL., - Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych., - Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii., - Generowanie raportów i alertów dotyczących niezgodności danych., , Integracja z MongoDB, , - Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector., - Implementacja procesów odczytu i zapisu danych., - Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads., , Rozwój architektury Data Lakehouse, , - Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold., - Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi., - Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge)., - Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania., , Optymalizacja wydajności, , - Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution., - Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse., , Monitoring i observability, , - Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana., - Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace., - Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań., , DevOps i wsparcie operacyjne, , - Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator., - Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami., - Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., , Współpraca zespołowa, , - Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps., - Udział w pracach prowadzonych w metodykach Scrum/Kanban., - Prowadzenie code review oraz warsztatów technicznych.

Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe., Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming., Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector., Znajomość modelowania dokumentowego oraz indeksowania w MongoDB., Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge., Praktyczna znajomość języka Python., Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins., Znajomość narzędzi Prometheus i Grafana., Doświadczenie w pracy w metodykach Agile (Scrum/Kanban)., Znajomość Jira i Confluence.

Mile widziane, Doświadczenie z Delta Lake lub Apache Hudi., Znajomość Docker i Kubernetes oraz Spark Operator., Praktyczna znajomość OpenTelemetry lub Dynatrace., Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming., Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.

To oferujemy, Praca zdalna, B2B: 1200-1300 PLN na dzień

Etapy rekrutacji, CV, Introductory interview, Technical interview

Dołącz do projektu!, Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ, Welcome to Upvanta, where our motto is “We Care More”., , Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.
Oferta pracy dodana 1 dzień temu