Data Engineer (K/M/N)

Miejsce pracy: Płock

Technologie, których używamy

Wymagane

Google Cloud Platform
Python
SQL
GitLab
Terraform
Informatica PowerCenter
Azure DevOps
BigQuery
Cloud Composer / Apache Airflow
Dataproc
Dataflow
Datastream
Cloud Run / Cloud Run Functions
Google Cloud Storage
IAM
Workforce Identity Federation
Microsoft Entra ID
BigQuery Row-Level Security / Column-Level Security
Policy Tags
Dataplex Universal Catalog
Informatica IDMC
SAP Datasphere
Azure Databricks
ETL / ELT
CDC

O projekcie

Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)

Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania

Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi

Tak organizujemy naszą pracę

Tak pracujemy

u klienta
masz wpływ na rozwiązania technologiczne
koncentrujesz się na rozwoju produktu
agile

Skład zespołu

architekt
devOps
data scientist
product owner
project manager

Twój zakres obowiązków

rozwój, utrzymanie i optymalizacja procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)
projektowanie architektury przepływów danych
implementacja procesów ETL/ELT
integracja danych z różnych źródeł (on-premise, chmura, API, pliki, strumienie)
automatyzacja i orkiestracja procesów przetwarzania
zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości
integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi
dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA
implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt
implementacja mechanizmów CDC (Change Data Capture)
projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow
zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów
projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab
automatyzacja testowania, wdrażania i wersjonowania procesów danych
definiowanie zasobów IaC związanych z przetwarzaniem danych (GCS, BigQuery, Cloud Composer, Dataproc)
monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty
optymalizacja wydajności i kosztów przetwarzania (optymalizacja zapytań, partycjonowanie, klastrowanie w BigQuery)
refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych
implementacja mechanizmów walidacji i kontroli jakości danych
projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy
konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags
zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID
współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog
współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance
przygotowywanie i aktualizacja dokumentacji technicznej
przeprowadzanie code review oraz wsparcie merytoryczne zespołów data

Nasze wymagania

minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP
praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych
znajomość BigQuery (modelowanie danych, SQL, optymalizacja zapytań, partycjonowanie, klastrowanie)
praktyczna znajomość Cloud Composer / Apache Airflow
znajomość Dataproc, Dataflow i Datastream
znajomość Cloud Run / Cloud Run Functions
znajomość Cloud Storage w zakresie przetwarzania danych
bardzo dobra znajomość Python i SQL
znajomość GitLab (CI/CD i wersjonowania)
znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych
znajomość wzorców integracji danych: batch, streaming i CDC
doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne
znajomość mechanizmów kontroli dostępu do danych w GCP (IAM, authorized views, row-level i column-level security, policy tags)
znajomość Workforce Identity Federation i zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID
znajomość Dataplex Universal Catalog (klasyfikacja, tagowanie, katalogowanie danych)
rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem
znajomość zagadnień integracji GCP z platformą Informatica IDMC
znajomość architektury multi-cloud governance obejmującej SAP Datasphere i Azure Databricks
wysokie umiejętności komunikacyjne, organizacyjne i analityczne

Mile widziane

certyfikat Google Cloud, np. Professional Data Engineer
certyfikat Google Cloud Professional Data Engineer

To oferujemy

Okres współpracy: 12 miesięcy
Dyspozycyjność: elastyczna, uzależniona od zapotrzebowania projektowego

Tak pracujemy nad projektem

code review
dokumentacja
narzędzia do trackowania zadań

Takie dajemy możliwości rozwoju

mentoring
wymiana wiedzy technicznej w firmie

Etapy rekrutacji

Ocena CV
Rozmowa online

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez RANDLAB SOFTWARE sp. z o.o. z siedzibą w: Nawojowska 193A, 33-300 Nowy Sącz (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: ewa.bartosik@randlab.pl.