Data Engineer (Spark/Data Lakehouse) | Branża bankowa

O nas SpoÅecznoÅÄ Edge One Solutions powstaÅa z miÅoÅci do nowych technologii. Liczymy ponad 350 ekspertów, a w Grupie Euvic, której jesteÅmy czÄÅciÄ, jest nas już 5500. Indywidualne podejÅcie pozwala na dopasowanie projektów do umiejÄtnoÅci, przez co realnie wspieramy siÄ w rozwoju kompetencji. O kliencie Nasz Klient to jeden z wiodÄcych banków uniwersalnych w Polsce, należÄcy do miÄdzynarodowej grupy finansowej. Organizacja oferuje kompleksowe usÅugi bankowe dla klientów indywidualnych oraz biznesowych, rozwijajÄc nowoczesne rozwiÄzania w obszarze bankowoÅci codziennej, finansowania i systemów pÅatniczych. O roli projektowej Rola obejmuje projektowanie i rozwój procesów rekoncyliacji oraz synchronizacji danych w Årodowisku Spark/PySpark i MongoDB. Osoba na tym stanowisku bÄdzie również budowaÄ i utrzymywaÄ warstwy danych w architekturze Data Lakehouse (Delta Lake / Apache Iceberg / Hudi) â od danych surowych po warstwy prezentacyjne. Model wspóÅpracy Zdalny, z wizytami 1 dzieÅ w miesiÄcu w biurze Klienta we WrocÅawiu. RealizacjÄ projektu uÅatwi Ci Minimum 4 lata doÅwiadczenia w pracy z rozwiÄzaniami data engineeringowymi w Årodowiskach produkcyjnych. Bardzo dobra znajomoÅÄ Python, Apache Spark, PySpark, Spark SQL i DataFrames. DoÅwiadczenie ze Structured Streaming. Praktyczna znajomoÅÄ MongoDB oraz integracji ze Spark poprzez MongoDB Spark Connector. DoÅwiadczenie w modelowaniu danych dokumentowych oraz optymalizacji odczytu i indeksowania w MongoDB. Praktyczne doÅwiadczenie z Apache Iceberg, w tym wersjonowaniem tabel i operacjami merge/upsert. DoÅwiadczenie z Jenkins i procesami CI/CD (spark-unit, integration) ZnajomoÅÄ Prometheus i Grafana. DoÅwiadczenie w pracy w Agile/Scrum lub Kanban oraz z Jira/Confluence. Twój wkÅad do projektu Projektowanie i implementacja procesów przetwarzania danych w PySpark i Spark SQL. Rekoncyliacja danych pomiÄdzy ODS (MongoDB) a systemami źródÅowymi. Tworzenie reguÅ jakoÅci danych oraz wykrywanie duplikatów, braków i anomalii. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector. Projektowanie i rozwój warstw Raw/Bronze â Silver â Gold w architekturze Data Lakehouse. Praca z Apache Iceberg, w tym wersjonowanie tabel oraz operacje upsert/merge. Optymalizacja wydajnoÅci i kosztów przetwarzania danych w Spark. Rozwój procesów batchowych i streamingowych oraz ich monitorowanie. Automatyzacja deploymentu aplikacji Spark z wykorzystaniem Jenkins, Docker i Kubernetes. Konfiguracja monitoringu i alertów z wykorzystaniem Prometheus i Grafana. Diagnozowanie problemów zwiÄzanych z jakoÅciÄ, spójnoÅciÄ i opóźnieniami danych. Code review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej. WspóÅpraca z Data Engineerami, analitykami, testerami i zespoÅem DevOps w metodykach Scrum/Kanban. Tak o Ciebie zadbamy DoÅÄczajÄc do Edge One Solutions, otrzymujesz peÅne wsparcie w rozwoju zawodowym i osobistym, co daje Ci realnÄ szansÄ na budowanie kariery zgodnie z wÅasnymi celami. Zyskujesz indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanowaÄ ÅcieżkÄ kariery i zadba o Twój komfort i satysfakcjÄ z pracy w projekcie Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w peÅni pokrywamy koszty rozwoju kompetencji technicznych #SmartChange â umożliwiamy zmianÄ projektu i dobieramy kolejny zgodnie z Twoimi preferencjami Dbamy o Twój work-life balance, dlatego poza pracÄ oferujemy wyjÅcia integracyjne, aktywnoÅci sportowe i inspirujÄce webinary #edge1talks, które rozwijajÄ i ÅÄczÄ ludzi. AktywnoÅÄ fizyczna â wspieramy sportowe inicjatywy i wynajem sal treningowych Pakiet zdrowotny â prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne Nie speÅniasz wszystkich wymagaÅ, a projekt CiÄ zainteresowaÅ? Nie wahaj siÄ i aplikuj. Porozmawiajmy!