Data Engineer

Miejsce pracy: Rybnik

Technologie, których używamy

Wymagane

Python
Apache Spark
PySpark
Scala
SQL
AWS
Microsoft Azure
Google Cloud Platform
Airflow

Mile widziane

PostgreSQL
Kafka
Amazon Kinesis
Amazon Redshift
Microsoft Power BI

System operacyjny

Linux

Twój zakres obowiązków

Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów danych (ETL/ELT) od pozyskania po przetwarzanie i udostępnienie danych.
Rozwój i optymalizacja systemów przetwarzania danych batch i real-time (w tym architektury oparte o zdarzenia i streaming).
Tworzenie i utrzymywanie procesów integracji danych z wielu źródeł - strukturalnych, półstrukturalnych i nieustrukturalnych.
Praca z technologiami Big Data i chmurowymi (np. AWS/GCP/Azure, Spark, Kafka, AWS Glue, Athena, Amazon Kinesis).
Wdrażanie i rozwój orkiestracji workflowów danych (np. Airflow, Prefect, dbt).
Zapewnienie jakości danych poprzez walidację, czyszczenie, monitoring i obsługę błędów w pipeline’ach.
Optymalizacja wydajności, niezawodności i skalowalności systemów przetwarzania danych.
Udział w procesach DevOps dla data pipeline’ów (CI/CD, automatyzacja wdrożeń, obserwowalność systemów).

Nasze wymagania

Minimum 5 lat doświadczenia w inżynierii danych, Big Data
Bardzo dobra znajomość języka Python oraz podstaw backend developmentu.
Praktyczne doświadczenie w pracy z Apache Spark (PySpark/Scala) oraz SQL.
Znajomość przetwarzania danych w dużej skali i optymalizacji wydajności.
Doświadczenie w pracy z chmurą (AWS/GCP/Azure), w tym S3 i pokrewnymi usługami.
Doświadczenie w budowie i utrzymaniu pipeline’ów danych (ETL/ELT).
Znajomość narzędzi takich jak Airflow oraz CI/CD (DevOps).
Umiejętność projektowania skalowalnych modeli danych oraz pracy z bazami relacyjnymi (np. PostgreSQL), time-stream oraz obiektowymi storage.
Mile widziane doświadczenie w konfiguracji, zasilaniu i optymalizacji baz wektorowych.
Doświadczenie w przetwarzaniu danych strumieniowych (z np. Amazon Kinesis, Kafka)
Doświadczenie w zapewnianiu jakości danych, testowaniu, monitoringu i utrzymaniu niezawodnych systemów produkcyjnych.
Bardzo dobre umiejętności analityczne, komunikacyjne i organizacyjne.
Biegła znajomość języka angielskiego i polskiego.

Mile widziane

Praktyczna znajomość narzędzi analitycznych, w szczególności MS Power BI oraz Amazon Redshift.
Doświadczenie w konfiguracji, zasilaniu i optymalizacji baz wektorowych.

Tak pracujemy nad projektem

Continuous Deployment
Continuous Integration
DevOps
active monitoring
dokumentacja
narzędzia do trackowania zadań

To oferujemy

Współpracę opartą w pełni na modelu B2B
Swobodę w sposobie realizacji usług
Wynagrodzenie za świadczone usługi: 145-160 PLN netto + VAT
Realizację ciekawych projektów

Hostersi

Zarządzamy globalnymi infrastrukturami IT dla wymagających klientów, dostarczając rozwiązania chmurowe o najwyższej dostępności, skalowalności i bezpieczeństwie. Realizujemy projekty w elastyczny sposób i z wykorzystaniem najnowocześniejszych technologii AWS.

Aplikacji nie odsyłamy. Kontaktujemy się jedynie z wybranymi osobami. Osoby zainteresowane udziałem w rekrutacji prosimy o zamieszczenie w swoim CV klauzuli o treści: Wyrażam zgodę na przetwarzanie moich danych osobowych przez Hostersi Sp. z o.o., ul. Jankowicka 7, 44-200 Rybnik, zawartych w CV na potrzeby obecnego oraz przyszłych procesów rekrutacji, zgodnie z Rozporządzeniem Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (RODO).