Data Engineer

Poszukujemy doświadczonego Data Engineera do samodzielnej realizacji projektów budowy platform danych dla klientów przemysłowych i produkcyjnych. Osoba na tym stanowisku odpowiada za cały cykl — od analizy potrzeb u klienta, przez projekt architektury, po implementację i uruchomienie rozwiązania. TWÓJ ZAKRES OBOWIĄZKÓW Zbieranie i uzgadnianie wymagań bezpośrednio z klientem — z przedstawicielami biznesu oraz działów IT Analiza systemów i źródeł danych klienta, ocena jakości danych i komunikowanie wykrytych problemów Projektowanie architektury platform danych: warstwy surowej, hurtowni oraz systemów analitycznych Projektowanie i implementacja modeli baz oraz hurtowni danych Projektowanie i implementacja rozwiązań klasy data lake Budowa procesów ETL/ELT z wykorzystaniem platform integracji danych, rozszerzanych o Python i Spark Automatyzacja, monitoring oraz wdrożenie produkcyjne rozwiązań Wsparcie klienta po wdrożeniu i rozwój platformy o kolejne źródła danych NASZE WYMAGANIA Doświadczenie w analizie wymagań, również w bezpośredniej pracy z klientem Doświadczenie w projektowaniu i implementacji baz oraz hurtowni danych Doświadczenie w projektowaniu i implementacji data lake'ów Doświadczenie w budowie procesów ETL/ELT z wykorzystaniem platform integracji danych Znajomość Pythona i Apache Spark Umiejętność samodzielnego prowadzenia zadań od analizy po wdrożenie Komunikatywność i umiejętność tłumaczenia zagadnień technicznych osobom nietechnicznym Gotowość do okazjonalnych wyjazdów do klienta (1–3 razy w kwartale) MILE WIDZIANE Doświadczenie w pracy z klientami przemysłowymi lub produkcyjnymi (systemy MES, ERP, SCADA, dane z czujników) Znajomość metodyk modelowania hurtowni danych Doświadczenie z wdrożeniami on-premise Znajomość formatów tabelarycznych ŚRODOWISKO TECHNOLOGICZNE Źródła danych: Oracle, MS SQL, PostgreSQL, API ETL/ELT i orkiestracja: Apache Airflow, Apache NiFi, Apache Spark, Python Data lake: MinIO Baza transakcyjna: PostgreSQL