Data Engineer (K/M/N)

O projekcie Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP). Twój zakres obowiązków Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse. Projektowanie i rozwój procesów przetwarzania danych. Implementacja i optymalizacja procesów ETL/ELT. Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP. Rozwój rozwiązań opartych o BigQuery. Współpraca z zespołami projektowymi oraz technicznymi. Monitorowanie i utrzymanie procesów przetwarzania danych. Udział w rozwoju architektury danych oraz zapewnianiu jakości danych. Nasze wymagania Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer. Bardzo dobre umiejętności komunikacyjne i organizacyjne. Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi. Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym. Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics. Doświadczenie z BigQuery. Doświadczenie z Cloud Storage. Doświadczenie z Cloud Dataflow (Apache Beam). Doświadczenie z Cloud Composer (Apache Airflow). Znajomość Datastream. Znajomość Dataplex. Doświadczenie z Pub/Sub. Doświadczenie z Dataform. Bardzo dobra znajomość Python. Znajomość bibliotek do przetwarzania danych (m.in. Pandas). Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL). Znajomość MySQL. Znajomość PostgreSQL. Znajomość MS SQL Server. Doświadczenie z architekturą Medallion (Bronze / Silver / Gold). Znajomość procesów ETL/ELT. Znajomość zagadnień Data Governance. Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych. Znajomość zagadnień wersjonowania danych. Praktyczna znajomość Git. Znajomość procesów CI/CD. Doświadczenie z Cloud Monitoring oraz Cloud Logging.