Data engineer Big query

Wymagane, Google Cloud Platform, Python, Pyspark, BigQuery, Apache Airflow, GitHub Actions, Terraform

O projekcie, Wspólnie z naszym Partnerem, klientem z sektora bankowego, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Senior Data Engineer (GCP)., , Projekt realizowany jest w ramach strategicznego programu transformacji „data-driven bank" i obejmuje budowę platformy danych klasy data lakehouse na Google Cloud Platform (GCP), integrującej obszary raportowania, analityki oraz zarządzania danymi w modelu hub & spoke.

Tak pracujemy, agile, scrum

Twój zakres obowiązków, Usprawnianie wydajności zapytań oraz optymalizacja kosztów przetwarzania danych w BigQuery., Budowa, rozwój i utrzymanie pipeline'ów danych w Apache Airflow., Rozwój warstw Gold i Platinum platformy lakehouse w BigQuery., Projektowanie i wdrażanie procesów CI/CD (GitHub Actions)., Wdrażanie modelu bezpieczeństwa danych w oparciu o IAM., Budowa i utrzymanie Iac przy wykorzystaniu Terraform., Wdrażanie rozwiązań z zakresu Dataplex oraz data lineage., Praca nad standardami Data Governance.

Minimum 5 lat doświadczenia w Data Engineeringu, w tym min. 2 lata praktycznego doświadczenia z Google Cloud Platform., Znajomość architektury data lakehouse, w tym medallion architecture oraz technologii Delta Lake lub Apache Iceberg., Bardzo dobra znajomość Pythona oraz PySpark na poziomie produkcyjnym oraz doświadczenie w pracy z BigQuery., Bardzo dobra, praktyczna znajomość Apache Airflow w zakresie budowy i utrzymania pipeline'ów danych., Umiejętność pracy z dużymi wolumenami danych oraz optymalizacji wydajności przetwarzania., Doświadczenie w budowie procesów CI/CD, w szczególności z wykorzystaniem GitHub Actions., Praktyczna znajomość Infrastructure as Code oraz Terraform., Język angielski na poziomie komunikatywnym., Wykształcenie wyższe o profilu technicznym.

Mile widziane, Doświadczenie w projektowaniu modeli dostępu i bezpieczeństwa z wykorzystaniem IAM., Doświadczenie w projektach realizowanych dla sektora bankowego lub finansowego., Znajomość zagadnień FinOps i optymalizacji kosztów środowisk chmurowych., Znajomość Dataplex, katalogowania danych, metadanych oraz data lineage., Doświadczenie w obszarze Data Governance.

To oferujemy, Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu., Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem., Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables., Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą., Otwartość na okazjonalne spotkania projektowe w Warszawie (orientacyjnie 2x w tygodniu)., 5 000 PLN za polecenie znajomych do naszych projektów., Elastyczną formę współpracy B2B., Szybki i zdalny proces.

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, dofinansowanie nauki języków, dofinansowanie szkoleń i kursów, ubezpieczenie na życie, możliwość pracy zdalnej, elastyczny czas pracy

Etapy rekrutacji, CV, Rozmowa wstępna, Rozmowa techniczna

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.

Connectis_, Connectis_ to ponad 20 lat doświadczenia w branży, 60.000 Specjalistów IT i tysiące projektów zrealizowanych w 14 krajach.