Data Engineer (Snowflake)
in4ge
Everything is possible with the right people
In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.
Data Engineer projektuje, buduje i utrzymuje skalowalne oraz niezawodne potoki danych i modele danych, które wspierają analitykę, raportowanie oraz prognozowanie. Rola ta obejmuje współpracę z analitykami danych, data scientistami oraz zespołami inżynierii oprogramowania w celu dostarczania wysokiej jakości, zarządzanych danych interesariuszom, przy jednoczesnej optymalizacji wydajności, niezawodności i kosztów.
Obowiązki
- Projektowanie, budowa i optymalizacja modeli danych oraz potoków ETL w Snowflake
- Tworzenie i utrzymanie dużych modeli danych obejmujących dane historyczne dla wskaźników finansowych (KPI)
- Klasyfikacja i harmonizacja historycznych danych finansowych SAP na podstawie dostarczonych logik mapowania
- Projektowanie, budowa i utrzymanie API do udostępniania danych dla różnych aplikacji
- Współpraca z analitykami danych, data scientistami oraz inżynierami oprogramowania w celu definiowania wymagań danych, schematów i wzorców dostępu
- Implementacja zasad jakości danych, monitoringu, alertów oraz procesów naprawczych
- Utrzymanie linii pochodzenia danych (data lineage), metadanych oraz dokumentacji
- Zapewnienie gotowości produkcyjnej poprzez testy automatyczne, CI/CD oraz obserwowalność systemów
Wymagania
- Minimum 3 lata praktycznego doświadczenia w inżynierii danych w środowiskach produkcyjnych
- Doświadczenie w pracy z Snowflake, modelowaniu danych oraz tworzeniu potoków ETL, najlepiej w obszarze finansów i controllingu
- Bardzo dobra znajomość Snowflake SQL oraz solidne rozumienie architektury Snowflake, w tym Virtual Warehouses, Cloud Services i Storage
- Doświadczenie w budowie potoków ETL/ELT oraz modeli danych zgodnie ze sprawdzonymi wzorcami (np. schemat gwiazdy)
- Doświadczenie z Flask / FastAPI
- Znajomość systemów kontroli wersji (Git) oraz CI/CD
- Znajomość praktyk związanych z jakością danych i testowaniem