Data Engineer (Airflow, ClickHouse)

Minimum 2 lata komercyjnego doświadczenia z ClickHouse oraz Apache AirflowZnajomość SQL, w tym tworzenie i optymalizacja zapytańDoświadczenie w tworzeniu i utrzymaniu procesów ETL/ELTUmiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach)Doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi Aktualnie do Zespołu Baz i Hurtowni Danych poszukujemy osoby na stanowisko Data Engineer (Airflow, ClickHouse).​Zespół składa się z inżynierów danych i backendu pracujących z hurtownią danych oraz bazami PostgreSQL i MySQL. Stale się powiększamy i planujemy utrzymać ten trend.Wspieramy i rozwijamy usługi oraz aplikacje backendowe oparte na hurtowni danych i bazach danych. Tworzymy i utrzymujemy procesy ETL związane ze zbieraniem, przetwarzaniem oraz udostępnianiem danych. Tworzymy nowoczesne rozwiązania dla serwisów internetowych. ,[Dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse, Refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania), Projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych, Walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji), Monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja)] Requirements: Airflow, ClickHouse, ETL/ELT, SQL, Apache Airflow, ETL, Hive, Big data Additionally: Sport subscription, Private healthcare.