BI Data Engineer - ETL / Data Warehouse / Lakehouse

Dla jednego z naszych klientów szukamy BI Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów ETL/ELT, hurtowni danych, architektury Data Lakehouse oraz rozwiązań BI. To rola łącząca Data Engineering, Business Intelligence, Data Warehousing i Data Governance. Będziesz pracować zarówno nad warstwą danych i pipeline'ami, jak i nad rozwiązaniami raportowymi oraz jakością, lineage i bezpieczeństwem danych. Data Governance & Security - W ramach roli będziesz również odpowiedzialny/a za: zarządzanie warstwą semantyczną BI – KPIs, metrics catalog, naming conventions, row-level security, zarządzanie dostępami oraz bezpieczeństwem danych zgodnie z GDPR i wewnętrznymi politykami ochrony danych, egzekwowanie zasad data lineage i data stewardship, utrzymywanie dokumentacji technicznej, m.in. data dictionaries, lineage, design specifications i runbooks. Zakres odpowiedzialności Projektowanie i implementacja end-to-end procesów ETL/ELT oraz workflowów orkiestracji. Implementacja data contracts oraz zarządzanie ewolucją schematów danych. Projektowanie i utrzymanie Enterprise Data Warehouses, Data Lakes i Data Lakehouses. Budowanie i rozwój rozwiązań Business Intelligence. Implementacja mechanizmów data quality oraz monitorowania kondycji danych. Praca z data observability, w tym data lineage i freshness, oraz definiowanie i monitorowanie SLA/SLO. Optymalizacja kosztów i wydajności platform BI oraz hurtowni danych poprzez m.in.: partitioning, caching, clustering, query optimisation, resource scaling. Zbieranie i analiza wymagań biznesowych dotyczących pipeline'ów, storage'u i raportowania. Wspieranie self-service BI poprzez przygotowywanie curated datasets, certified reports oraz wsparcie i szkolenia użytkowników. Projektowanie nowoczesnych architektur BI dla środowisk cloud, on-premises i hybrid. Implementacja warstw data virtualisation, zapewniających zunifikowany dostęp do heterogenicznych źródeł danych. Projektowanie i rozwój aplikacji raportowych i analitycznych – dashboardów, KPI oraz narzędzi self-service BI. Projektowanie modeli danych, w tym dimensional models, zgodnie z wymaganiami biznesowymi. Projektowanie i optymalizacja fizycznych schematów baz danych poprzez indexing, partitioning i odpowiednie strategie storage. Analiza wydajności, query tuning i optymalizacja zasobów, zgodnie z kierunkiem wyznaczonym przez Technical/Solution Architect. Projektowanie i realizacja testów dla rozwiązań BI, w tym: data validation, regression testing, contract testing, automated pipelines zintegrowanych z CI/CD. Deployment i konfiguracja systemów BI z wykorzystaniem infrastructure-as-code, version control oraz environment management. Wymagania Wykształcenie: Master's degree + min. 5 lat doświadczenia zawodowego, lub Bachelor's degree + min. 7 lat doświadczenia, lub wykształcenie średnie + min. 12 lat doświadczenia. Praktyczne doświadczenie w projektowaniu i implementacji procesów ETL/ELT. Doświadczenie w dimensional modelling i projektowaniu hurtowni danych. Doświadczenie z architekturą Data Lakehouse. Doświadczenie w obszarze data governance i data lineage. Znajomość wymagań GDPR w kontekście platform danych i raportowania. Bardzo dobra znajomość języka angielskiego – min. B2. Umiejętność pracy zarówno z zespołami technicznymi, jak i interesariuszami biznesowymi. Analityczne, uporządkowane i szczegółowe podejście do pracy. Mile widziane Microsoft Data Analyst Associate Azure Data Engineer Associate Amazon Certified Data Analytics – Specialty