Konsultant IT - GCP Data Engineer (K/M)

Wymagane, Google Cloud Platform, BigQuery, SQL, Python, Cloud Composer, Apache Airflow, Dataproc, Dataflow, Datastream, BigQuery Dataform, Cloud Storage, Cloud Run, Terraform, IAM

Mile widziane, SAP Datasphere / SAP BDC, Azure Databricks, dbt, Google Cloud Professional Data Engineer

O projekcie, Poszukujemy Konsultanta IT specjalizującego się w Google Cloud Platform (GCP), który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie procesów przetwarzania danych oraz modelu uprawnień dostępu do danych., , Osoba na tym stanowisku będzie współpracować z zespołami data, infrastruktury, bezpieczeństwa i governance przy rozwoju rozwiązań integracyjnych w środowisku chmurowym i multi-cloud.

Tak pracujemy, u klienta

Twój zakres obowiązków, Analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w GCP., Projektowanie, rozwój i utrzymanie procesów ETL/ELT z wykorzystaniem BigQuery, Dataproc, Dataflow i Dataform., Integracja danych z różnych źródeł z wykorzystaniem mechanizmów batch, streaming i CDC., Projektowanie i utrzymanie orkiestracji procesów danych w Cloud Composer / Apache Airflow., Rozwój potoków CI/CD w GitLab oraz automatyzacja wdrożeń z wykorzystaniem Terraform w zakresie zasobów przetwarzania danych., Optymalizacja wydajności i kosztów przetwarzania danych oraz monitorowanie procesów i reagowanie na incydenty., Projektowanie i wdrażanie modelu uprawnień do danych w GCP, w tym IAM, row-level security, column-level security i policy tags., Konfiguracja dostępu do zasobów danych dla grup federowanych z Microsoft Entra ID z wykorzystaniem Workforce Identity Federation., Współpraca z zespołami governance i bezpieczeństwa w zakresie klasyfikacji danych, jakości danych i zgodności z wymaganiami, w tym RODO., Tworzenie i aktualizacja dokumentacji technicznej, przeprowadzanie code review oraz wspieranie pozostałych członków zespołu.

Minimum 3 lata doświadczenia na stanowisku Data Engineer lub konsultanta GCP., Praktyczna znajomość GCP, w szczególności BigQuery, Cloud Composer / Apache Airflow, Dataproc, Dataflow i Datastream., Bardzo dobra znajomość SQL i Python oraz doświadczenie w tworzeniu i optymalizacji procesów ETL/ELT z wykorzystaniem Dataform lub dbt., Znajomość wzorców integracji danych: batch, streaming i CDC oraz doświadczenie w integracji danych z różnych źródeł., Znajomość Cloud Storage, Cloud Run, GitLab CI/CD i Terraform w zakresie przetwarzania danych., Doświadczenie w zarządzaniu dostępem do danych w GCP, w tym IAM, authorized views, row-level security, column-level security i policy tags., Znajomość Workforce Identity Federation i integracji z Microsoft Entra ID., Znajomość Dataplex Universal Catalog w zakresie klasyfikacji, katalogowania i tagowania danych., Rozumienie zasad data governance, ochrony danych wrażliwych i wymagań RODO., Znajomość integracji GCP z Informatica IDMC oraz środowisk SAP Datasphere i Azure Databricks., Umiejętność analitycznego myślenia, samodzielnego rozwiązywania problemów i współpracy z różnymi zespołami.

Mile widziane, Certyfikat Google Cloud, np. Professional Data Engineer., Doświadczenie w projektowaniu rozwiązań dla środowisk multi-cloud.

To oferujemy, Udział w rozwoju zaawansowanych rozwiązań do przetwarzania i integracji danych w środowisku GCP., Możliwość pracy z nowoczesnymi technologiami chmurowymi i rozwiązaniami z obszaru data governance., Współpracę z zespołami specjalistów z obszaru danych, architektury i bezpieczeństwa., Możliwość rozwoju kompetencji technicznych przy realizacji złożonych projektów integracyjnych.

BCF Software Sp. z o.o., Bright coders’ factory - nasza nazwa mówi sama za siebie, ponieważ nasze oprogramowanie znajduje się w sercach wiodących światowych firm. Nasi klienci to stabilne, najwyższej klasy globalne organizacje, dysponujące najnowocześniejszymi technologiami., , W BCF wierzymy, że ludzie są innowacyjni z pasji. W naszym portfolio znajdują się projekty z różnych branż, m.in. motoryzacyjnej, AI, e-commerce, rozrywkowej - na pewno znajdziesz coś dla siebie. :), , Piszemy kod żeby ułatwiać ludziom życie. Chcemy żeby każdy czuł się u nas wyjątkowo i wiedział, że jego praca ma znaczenie. Jako firma zatrudniająca wielu specjalistów wiemy, że nasz potencjał wciąż rośnie. W zależności od etapu Twojej kariery wybierzemy najbardziej odpowiednie i atrakcyjne oferty projektów. Reszta należy do Ciebie.

Tak się u nas pracuje,