Data Architect

Klient to koncern multienergetyczny

Podstawowe informacje: 

Lokalizacja: 100% zdalnie (osobisty odbiór sprzętu)

Stawka: do 180PLN/h netto + VAY

Kontrakt B2B 

Długość: 6 mies + przedłużenia

Proces rekrutacyjny: 1 lub 2 etapy 

Angielski: B1

Profil

- doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych
- tworzenie architektury Data Lake / Lakehouse
- Apache Spark (Data Engineering)
- Apache Hadoop / HDFS,
- Delta Lake i/lub Apache Iceberg
- definiowanie architektury przetwarzania danych na dużą skalę
- projektowanie procesów ETL/ELT
- przygotowywanie dokumentacji architektonicznej HLD i LLD
- prowadzenie transformacji technologicznych zespołów Data Warehouse

Nice to have:

- doświadczenie w migracji środowisk Oracle DWH
- znajomość Oracle Data Integrator
- znajomość Oracle Database
- doświadczenie w obszarze DataOps i CI/CD dla platform danych
- doświadczenie w pracy w roli Technical Lead lub Lead Architect

Pierwsze zadania na stanowisku:

- Assessment obecnej architektury
- Dokument HLD architektury docelowej
- Roadmapa transformacji technologicznej
- Rekomendacja technologiczna wraz z uzasadnieniem
- Koncepcja CI/CD oraz standardów wytwarzania
- Rekomendacje dla zespołu i plan transferu wiedzy

Obszar architektury danych

- analiza obecnej architektury rozwiązania
- opracowanie architektury docelowej platformy danych
- przygotowanie koncepcji eliminacji komponentu Oracle Data Integrator (ODI)
- zaprojektowanie zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym o Apache HDFS
- rekomendacja i wybór podejścia opartego o Delta Lake lub Apache Iceberg
- zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z wykorzystaniem Apache Spark
- określenie wzorców integracyjnych i przetwarzania danych (batch, near-real-time, streaming – jeśli zostaną uznane za zasadne)
- opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowaniem procesów

Obszar DevOps / DataOps

- zdefiniowanie procesów CI/CD dla platformy danych
- przygotowanie standardów zarządzania kodem źródłowym
- określenie standardów testowania rozwiązań danych
- rekomendacja narzędzi wspierających automatyzację wdrożeń
- opracowanie standardów utrzymania i rozwoju hurtowni danych w nowej architekturze

Obszar organizacyjny i kompetencyjny
- pełnienie roli lidera technicznego programu transformacji

- wsparcie zespołu projektowego w procesie podejmowania decyzji architektonicznych
- mentoring i transfer wiedzy do obecnego zespołu
- budowanie kompetencji zespołu w zakresie technologii Hadoop/Data Lakehouse/Spark oraz nowoczesnych praktyk Data Engineering

Hays Poland sp. z o.o. jest agencją zatrudnienia zarejestrowaną w rejestrze prowadzonym przez Marszałka Województwa Mazowieckiego pod numerem 361.