Data Engineer - Azure / Databricks / AWS

Wymagane, SQL, Azure Data Platform, Python, Azure Databricks, Apache Spark, AWS, Git

O projekcie, Data Engineer będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych platform danych opartych o technologie chmurowe Microsoft Azure, AWS oraz Databricks. Rola koncentruje się na tworzeniu wydajnych procesów przetwarzania danych, wdrażaniu architektury Lakehouse oraz zapewnieniu wysokiej jakości i dostępności danych dla zespołów analitycznych, biznesowych i AI.

Tak pracujemy, u klienta, koncentrujesz się na jednym projekcie

Twój zakres obowiązków, Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych pochodzących z różnych systemów źródłowych., Budowa i rozwój rozwiązań Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS., Tworzenie oraz optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark)., Modelowanie danych oraz implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion., Integracja danych z systemów ERP, CRM, aplikacji biznesowych, API oraz źródeł zewnętrznych., Wykorzystanie usług chmurowych do przetwarzania i przechowywania danych:, Azure: Data Factory, Data Lake Storage Gen2, Synapse Analytics, Databricks, AWS: S3, Glue, Athena, Redshift, EMR, Lambda, Zapewnienie jakości danych poprzez wdrażanie mechanizmów walidacji, monitoringu i kontroli procesów., Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych w chmurze., Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD., Współpraca z zespołami Data Science, BI, Analityki oraz Architektury IT., Tworzenie dokumentacji technicznej oraz standardów przetwarzania danych., Wsparcie inicjatyw związanych z Data Governance, Data Security oraz Data Lineage.

Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym., Bardzo dobra znajomość SQL oraz modelowania danych., Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT., Praktyczna znajomość Azure Data Platform., Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark)., Bardzo dobra znajomość języka Python., Doświadczenie w pracy z usługami danych AWS:, S3, Glue, Athena, Redshift, EMR, Lambda, Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse., Doświadczenie z narzędziami kontroli wersji (Git)., Znajomość zagadnień związanych z wydajnością, skalowalnością oraz bezpieczeństwem danych., Umiejętność pracy w środowisku Agile/Scrum.

Benefity, dofinansowanie nauki języków, możliwość pracy zdalnej, spotkania integracyjne, brak dress code’u, paczki świąteczne, program rekomendacji pracowników

Etapy rekrutacji, Rozmowa telefoniczna – wstępna rozmowa z Rekruterem, Weryfikacja u klienta – ocena dopasowania do wymagań biz., Rozmowa kwalifikacyjna – spotkanie z przedstawicielem firmy

Integral Solutions, Integral Solutions, Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły projektowe o profesjonalistów IT.