Data Engineer (Spark)

Wymagane, PyTorch

Mile widziane, Kubernetes, Docker, Prometheus, Grafana, Jenkins, MongoDB, Apache Spark, PyTorch

O projekcie, Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej., , Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.

Tak pracujemy, koncentrujesz się na jednym projekcie, masz wpływ na wybór narzędzi i technologii, masz wpływ na rozwiązania technologiczne, agile, scrum

Skład zespołu, backend developer, devOps, data scientist, programista testów automatycznych, tester manualny, product owner, project manager, scrum master

Twój zakres obowiązków, Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych., Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów., Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych., Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg., Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych., Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution., Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana., Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes., Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu., Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych., Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile., Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.

Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data, Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming., Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector., Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge., Bardzo dobra znajomość języka Python i SQL., Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins., Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych., Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana., Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.

Mile widziane, Doświadczenie w pracy z Delta Lake lub Apache Hudi., Znajomość Kubernetes, Dockera i Spark Operator., Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace., Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych., Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.

To oferujemy, Praca zdalna, B2B: 1200 PLN/MD

Tak pracujemy nad projektem, code review, Continuous Integration, DevOps, active monitoring, dokumentacja, narzędzia do trackowania zadań, testy integracyjne, testy jednostkowe

Takie dajemy możliwości rozwoju, mentoring, szkolenia zewnętrzne

Etapy rekrutacji, CV, Introductory interview, Technical interview

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ, Welcome to Upvanta, where our motto is “We Care More”., , Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.