Senior Data Engineer - GCP / BigQuery / Data Lakehouse

Senior Data Engineer – GCP / BigQuery / Data Lakehouse

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Python
• PySpark
• Apache Airflow
• Apache Spark
• Google Cloud Platform
• BigQuery
• Git

Mile widziane

• Terraform
• Docker

O projekcie

Dołącz do budowy nowego ekosystemu danych w jednym z największych banków w Polsce.

W ramach strategicznego programu „Data-Driven Bank” wdrażamy nowoczesną platformę danych opartą na Google Cloud Platform (GCP) oraz budujemy rozwiązanie klasy Data Lakehouse, integrujące raportowanie, analitykę i zarządzanie danymi.

Pracujemy w modelu hub & spoke, łącząc kompetencje biznesowe i technologiczne. Rozwijamy obszar Data Governance i tworzymy fundamenty pod rozwiązania AI oraz produkty danych nowej generacji.

Szukamy doświadczonego Senior Data Engineera, który chce mieć realny wpływ na architekturę, standardy techniczne i rozwój całej platformy danych.

Tak organizujemy naszą pracę

Tak pracujemy

• masz wpływ na produkt
• koncentrujesz się na rozwoju produktu
• agile
• scrum

Skład zespołu

• big data developer
• data scientist

Twój zakres obowiązków

• Budowa i utrzymanie produkcyjnych pipeline’ów danych z wykorzystaniem dbt oraz Apache Airflow.
• Rozwój komponentów przetwarzania danych w Pythonie i PySpark.
• Projektowanie i rozwój warstw Gold i Platinum platformy lakehouse w BigQuery, zgodnie z architekturą medallion.
• Projektowanie rozwiązań end-to-end oraz podejmowanie i uzasadnianie decyzji architektonicznych.
• Optymalizacja wydajności i kosztów BigQuery, w tym partycjonowanie, klastrowanie oraz działania z obszaru FinOps.
• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.
• Rozwój infrastruktury jako kodu (Terraform) dla środowiska GCP.
• Implementacja i rozwój modelu bezpieczeństwa danych: IAM, RBAC/ABAC, policy tags, DLP.
• Współtworzenie standardów Data Governance, w tym zarządzania metadanymi i data lineage.
• Udział w code review oraz kształtowanie standardów i dobrych praktyk pracy zespołu.
• Współpraca z analitykami, data scientistami oraz stakeholderami biznesowymi.
• Konsultacje techniczne dla zespołów domenowych działających w modelu hub & spoke.
• Promowanie dobrych praktyk inżynierii danych i rozwiązań cloud-native w środowisku GCP.

Nasze wymagania

• Minimum 5 lat komercyjnego doświadczenia w inżynierii danych, w tym minimum 2 lata pracy przy projektach opartych o Google Cloud Platform.
• Doświadczenie w projektowaniu i wdrażaniu hurtowni danych / Data Lakehouse w dużych, produkcyjnych środowiskach.
• Umiejętność projektowania rozwiązań end-to-end i świadomego podejmowania decyzji architektonicznych.
• Bardzo dobra komunikacja i umiejętność współpracy z zespołami technicznymi oraz biznesowymi.
• Technologie i kompetencje wymagane
• SQL – poziom zaawansowany: złożone zapytania analityczne, window functions, CTE, optymalizacja zapytań i modelowanie danych.
• Python – poziom zaawansowany: programowanie obiektowe, tworzenie produkcyjnych modułów, testy jednostkowe oraz biblioteki do przetwarzania danych, m.in. pandas i NumPy.
• Google Cloud Platform: praktyczna znajomość ekosystemu GCP, w szczególności IAM, Cloud Storage, Secret Manager oraz Cloud Logging/Monitoring.
• BigQuery: projektowanie schematów, partycjonowanie i klastrowanie tabel oraz optymalizacja kosztów i wydajności zapytań.
• dbt (Core lub Cloud): modele, makra, testy, snapshoty i dokumentacja.
• Apache Airflow: projektowanie produkcyjnych DAG-ów oraz orkiestracja pipeline’ów dbt i zadań GCP.
• Apache Spark: tworzenie zadań PySpark i optymalizacja jobów.
• CI/CD: GitHub Actions, automatyzacja testów i deploymentu pipeline’ów danych.
• Git: biegłość w pracy z branchami, pull requestami, code review i git flow.

Mile widziane

• Terraform – moduły, workspaces i zarządzanie state dla GCP.
• Data Governance / Knowledge Catalog – Dataplex, Data Catalog, metadane, data lineage oraz klasyfikacja danych wrażliwych (DLP).
• Docker – konteneryzacja aplikacji i tworzenie customowych obrazów.
• Doświadczenie w obszarze FinOps i optymalizacji kosztów GCP.
• Praktyczne doświadczenie z architekturą medallion lub data mesh.
• Doświadczenie w sektorze finansowym lub bankowym.
• Certyfikaty GCP, w szczególności Professional Data Engineer lub Professional Cloud Architect.

To oferujemy

• Długoterminowa współpraca
• Możliwość wyboru preferowanego rodzaju współpracy (regularna umowa o pracę ze wszystkimi korzyściami lub elastyczny kontrakt B2B)
• Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
• Mentoring Competence Center - będziesz członkiem społeczności CC od pierwszego dnia pracy. Będziesz miał szansę rozwijać swoje umiejętności, uczestniczyć w różnych konferencjach oraz dzielić się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
• Jasna ścieżka kariery
• Pakiet benefitów pracowniczych
• Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe

ASTEK Polska

Założona w 1988 roku we Francji Grupa Astek jest światowym partnerem w obszarze doradztwa inżynieryjnego oraz IT. Dzięki swojej wiedzy specjalistycznej w wielu sektorach przemysłowych i technologicznych, Astek wspiera międzynarodowych Klientów w rozwijaniu i wdrażaniu produktów oraz usług, jednocześnie uczestnicząc w ich transformacji cyfrowej.

Grupa Astek od momentu powstania opiera swój rozwój na kulturze przedsiębiorczości i innowacyjności oraz na budowaniu umiejętności swoich ponad 10 000 pracowników, którzy codziennie uczestniczą w zróżnicowanych projektach technologicznych i inżynieryjnych.

Dołącz do silnie rozwijającej się we Francji i na całym świecie Grupy, której obroty w 2025 r. wyniosły 730 milionów euro.

Zapraszamy na po więcej szczegółów.