Data Engineer (k/m/x) - Python / Rust / Qdrant

Data Engineer (k/m/x) – Python / Rust / Qdrant

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Python
• Rust
• Qdrant
• PostgreSQL
• Linux
• Apache Airflow
• Apache Spark
• Apache Flink

Mile widziane

• FastAPI
• Docker
• Kubernetes
• Gulp
• Google Cloud Platform
• Apache Airflow
• Apache Spark
• Neo4j

System operacyjny

• Linux

O projekcie

Projekt związany z budową i rozwojem rozwiązań przetwarzających dane nieustrukturyzowane na potrzeby systemów sztucznej inteligencji

Tworzenie pipeline'ów danych obsługujących dokumenty, obrazy i nagrania audio, rozwój procesów ETL, OCR, transkrypcji oraz ekstrakcji informacji

Przetwarzane dane będą wykorzystywane do generowania embeddingów, indeksowania i wyszukiwania semantycznego oraz zasilania repozytoriów danych i systemów AI

Tak organizujemy naszą pracę

Tak pracujemy

• koncentrujesz się na jednym projekcie
• masz wpływ na rozwiązania technologiczne
• agile

Twój zakres obowiązków

• Projektowanie, budowa i rozwój pipeline'ów do przetwarzania danych nieustrukturyzowanych
• Tworzenie procesów ETL obsługujących dokumenty, obrazy i nagrania audio
• Implementacja mechanizmów OCR, transkrypcji audio i ekstrakcji informacji
• Generowanie i przetwarzanie embeddingów na potrzeby rozwiązań AI
• Praca z wektorowymi bazami danych, w szczególności Qdrant
• Projektowanie mechanizmów indeksowania i wyszukiwania semantycznego
• Tworzenie i integracja REST API
• Integracja procesów przetwarzania danych z systemami zewnętrznymi i architekturą zdarzeniową

Nasze wymagania

• Dobra znajomość Pythona i/lub Rust (wystarczy jeden z tych języków)
• Praktyczne doświadczenie w projektowaniu i budowaniu pipeline'ów danych oraz procesów ETL
• Doświadczenie w pracy z wektorowymi bazami danych, w szczególności Qdrant lub podobnymi rozwiązaniami
• Znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania po metadanych
• Doświadczenie w tworzeniu i integracji REST API
• Znajomość architektury zdarzeniowej, np. Apache Kafka lub Google Pub/Sub
• Dobra znajomość systemu Linux
• Doświadczenie z relacyjnymi bazami danych, np. PostgreSQL

Mile widziane

• Znajomość FastAPI
• Doświadczenie z Docker, Kubernetes i CI/CD
• Znajomość GCP, BigQuery, Dataflow i Dataproc
• Doświadczenie z Apache Airflow, Apache Spark lub Apache Beam
• Znajomość technologii OCR, transkrypcji audio i konwersji dokumentów
• Doświadczenie z Neo4j, Knowledge Graph, RAG lub GraphRAG

To oferujemy

• Kontrakt B2B
• Stawka 95 PLN netto/h + VAT
• Preferowany start: ASAP
• Możliwość pracy nad rozwiązaniami wykorzystującymi sztuczną inteligencję i nowoczesne technologie przetwarzania danych
• Wsparcie formalne od dokumentów po onboarding

Tak pracujemy nad projektem

• DevOps
• dokumentacja
• narzędzia do trackowania zadań
• automatyzacja testów

Takie dajemy możliwości rozwoju

• konferencje w Polsce
• konferencje zagraniczne
• mentoring
• szkolenia zewnętrzne
• wspieramy wydarzenia dla IT

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• możliwość pracy zdalnej

Etapy rekrutacji

• Rozmowa techniczna
• Rozmowa z klientem

B2B.NET S.A.

B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.

Aplikując, wyraża Pani/Pan zgodę na przetwarzanie przez B2BNetwork swoich danych osobowych zawartych w niniejszym kwestionariuszu aplikacyjnym i aplikacji na potrzeby rekrutacji. Jednocześnie oświadczasz, że podanie przez Panią/Pana danych wykraczających poza katalog określony w Kodeksie pracy i innych właściwych ustaw jest dobrowolne i dla Pani/Pana korzystne.