Data engineer Azure

Wymagane, Azure, Azure Databricks, Azure Data Factory, Azure Data Lake, Data Lakehouse, Python, Pyspark, SQL, Etl, Elt

O projekcie, Wspólnie z naszym Partnerem, międzynarodową instytucją finansującą globalnych producentów maszyn budowlanych i samochodowych, poszukujemy osoby na stanowisko Data Engineer (Azure). Projekt dotyczy budowy i rozwoju globalnej platformy danych klasy enterprise (Global Data Mart), wspierającej raportowanie, analitykę oraz procesy finansowe dla regionów i jednostek biznesowych na całym świecie.

Twój zakres obowiązków, Tworzenie i optymalizacja notebooków PySpark oraz Spark SQL w Databricks do ekstrakcji, transformacji i przetwarzania danych oraz generowania Shared File Formats (SFF)., Przygotowywanie dokumentacji technicznej, w tym dokumentów projektowych, prototypów i specyfikacji na podstawie wymagań biznesowych i systemowych., Współpraca z Data Modelerami przy mapowaniu danych source-to-staging, analizie schematów oraz tworzeniu definicji DDL dla tabel i widoków., Wsparcie działań Data Governance, w tym zarządzanie data lineage, katalogowaniem danych oraz współpraca z Information Stewardami., Monitorowanie i optymalizacja wydajności procesów SQL i Spark, identyfikacja wąskich gardeł oraz tuning jobów przetwarzania danych., Konfiguracja i utrzymanie tabel Ingestion Framework (IF) wspierających automatyczne ładowanie danych do warstw staging i DLC., Aktywny udział w analizie wymagań, estymacjach oraz ceremoniach Agile (Sprint Planning, Backlog Refinement, Retrospectives)., Udział w design review i code review procesów ETL/ELT oraz wdrażanie dobrych praktyk CI/CD w obszarze Data Engineering., Udział w migracjach danych z systemów legacy do architektury chmurowej Azure Data Lake.

Minimum 6-letnie doświadczenie komercyjne na stanowisku Data Engineer lub pokrewne., Praktyczne doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT oraz data pipelines w środowisku Azure., Umiejętność analizowania wymagań biznesowych oraz tworzenia i utrzymywania dokumentacji technicznej (BRD, SRD, DDL)., Doświadczenie w pracy z architekturą Data Lake / Lakehouse, w tym projektowaniem warstw Staging, Core i Curated., Zaawansowana znajomość SQL (T-SQL) oraz doświadczenie w optymalizacji zapytań i modelowaniu danych., Bardzo dobra znajomość Azure Databricks, Azure Data Factory oraz usług ekosystemu Azure Data Platform., Doświadczenie w pracy z Azure Data Lake Storage (ADLS) oraz rozwiązaniami opartymi o Lakehouse., Bardzo dobra znajomość PySpark oraz Python w kontekście przetwarzania i transformacji danych., Otwartość na pracę w trybie hybrydowym z biura we Wrocławiu (3 dni zdalnie, 2 dni z biura)., Biegła znajomość języka angielskiego C1.

To oferujemy, Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis., Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem., Wsparcie dedykowanej osoby kontaktowej Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem., Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku., 5000 PLN za polecenie znajomych do naszych projektów., Dostęp do najnowszych technologii i narzędzi pracy., Szybki i zdalny proces.

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, dofinansowanie nauki języków, dofinansowanie szkoleń i kursów, ubezpieczenie na życie, możliwość pracy zdalnej, elastyczny czas pracy

Etapy rekrutacji, CV, Rozmowa wstępna, Rozmowa techniczna

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.

Connectis_, Connectis_ to ponad 20 lat doświadczenia w branży, 60.000 Specjalistów IT i tysiące projektów zrealizowanych w 14 krajach.