Data Engineer

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu. Poszukujemy Data Engineer’a na poziomie Middle do współpracy przy realizacji projektu z obszaru Data Engineering i migracji danych do Google Cloud Platform. Szukamy osoby, która dobrze czuje się w pracy z dużymi zbiorami danych, zna BigQuery i SQL, a także ma praktyczne doświadczenie w budowaniu i rozwijaniu procesów ETL/ELT oraz migracji rozwiązań z środowisk on-premise do chmury. Forma współpracy: Model współpracy: B2B Stawka: 147,20 zł netto/h Tryb współpracy: hybrydowy, zgodnie z wymaganiami projektu (szczegółowy zakres pracy zdalnej i stacjonarnej będzie wynikał z bieżących potrzeb projektu) W ramach współpracy będziesz odpowiadać m.in. za: projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub; migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle / środowisk on-premise do GCP; projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości, obsługi błędów i ponawiania operacji; projektowanie struktur i modeli danych w BigQuery, z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów; analizę danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i GCP; tworzenie, analizę i optymalizację zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł przy dużych wolumenach danych; analizę istniejących procesów Informatica PowerCenter oraz ich migrację do rozwiązań docelowych w GCP; implementację logiki transformacji, walidacji i integracji danych w SQL i Python; wykonywanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania; przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT; przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej; diagnozowanie i usuwanie incydentów związanych z przetwarzaniem oraz jakością danych; tworzenie i aktualizację dokumentacji technicznej; pracę z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps. Czego oczekujemy? minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych; doświadczenia odpowiadającego poziomowi Middle Data Engineer; praktycznej znajomości Google Cloud Platform, w szczególności: BigQuery, Cloud Storage, Pub/Sub; praktycznego doświadczenia z Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych; doświadczenia z Informatica PowerCenter, pozwalającego na samodzielną analizę i modyfikację procesów ETL; znajomości SQL na poziomie pozwalającym na analizę, optymalizację i rozwój procesów przetwarzania danych; doświadczenia w pracy z procesami ETL/ELT, migracją danych i integracją systemów; znajomości Python w zakresie potrzebnym do implementacji logiki przetwarzania i transformacji danych; doświadczenia z testowaniem, dokumentowaniem i wdrażaniem rozwiązań danych. Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł. Referral Program: Talent from your network