Data Engineer: rynek

Oferta

otwarta oferta, która przeszła kontrolę jakości i wymienia co najmniej dwie technologie

Obserwowany kandydat

kandydat, którego stack zawiera tę technologię; agregat — żaden pojedynczy rekord nie opuszcza perymetru

Kandydat do dopasowania

jeszcze nie liczone

Okno

oferty otwarte w chwili tworzenia snapshotu

Ofert Junior jest mało — rynek oczekuje Python Middle + zaawansowanego SQL lub przejścia z backendu/analityki. Skok Junior → Middle — Airflow + jedna hurtownia DWH + podstawy Sparka. Senior odpowiada za całą domenę danych (np. pipeline zdarzeń). Lead Data Engineer / Head of Data Platform — prowadzi 3-8 inżynierów, odpowiada za decyzje architektoniczne + model DWH + data governance. Ścieżka kariery: Backend Middle/Analyst Senior → Data Engineer Middle → Senior → albo Analytics Engineering (nacisk na dbt), Platform Engineering (nacisk na infrastrukturę), albo Head of Data.

5 najważniejszych: python, cloud, sql, aws, azure. Python — obowiązkowo (pandas, PySpark, boto3, GCP SDK). SQL — zaawansowany, obowiązkowo (funkcje okna, CTE, optymalizacja zapytań, EXPLAIN ANALYZE). Airflow — branżowy standard orkiestracji; Dagster/Prefect rosną w nowych projektach. Spark (PySpark/Scala) — big data batch + streaming. Kafka — obowiązkowa dla Middle+ w architekturze event-driven. Flink — umiejętność premium do prawdziwego streamingu. dbt — standard warstwy transformacji w nowoczesnym stacku danych. DWH: Snowflake (chmurowa premium), BigQuery (GCP), ClickHouse (OLAP, dominuje w WNP), Redshift (legacy AWS). Przechowywanie: S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi do IaC. Senior — observability (Datadog/Grafana + Great Expectations / Soda do jakości danych).

Spark — branżowy standard batch + streamingu micro-batch. PySpark to największy rynek pracy, Spark Scala — nisza premium. Używany przez 80%+ zespołów DWH. Wada: opóźnienie micro-batch (sekundy-minuty), nie prawdziwy realtime. Flink — prawdziwy silnik streamingowy z opóźnieniem milisekundowym, semantyka exactly-once od razu. Rosnący segment: FinTech/AdTech/IoT/inferencja ML w czasie rzeczywistym. Mniej ofert, ale premia dla Senior Flink Engineer (+15-25% względem Spark). Kafka Streams (tylko Java/Scala) — lekka biblioteka streamingowa, nie osobny klaster. Dobra do przetwarzania strumieni na poziomie mikroserwisu, słaba przy ciężkich joinach/stanie. Strategia: najpierw Spark (wielkość rynku), potem Flink dla dywersyfikacji i wyższego wynagrodzenia. Kafka Streams — niszowy dodatek dla backend engineerów JVM.

Apache Airflow — standard branżowy, dominuje w 80%+ ofert. DAG-i w Pythonie, ogromny ekosystem operatorów. Minusy: oparty na harmonogramie, natywnie nie event-driven, słabe dynamiczne generowanie DAG-ów. Dagster — nowoczesny pretendent (w stylu Elementl/Astronomer). Skoncentrowany na assetach, najlepszy DX, natywne testowanie, data lineage od razu w pakiecie. Rosnący segment: startupy produktowe, modern data stack. Senior Dagster — premia +10-15%. Prefect — filozofią pomiędzy Airflow a Dagsterem. Dobry do hybrydowych workflow (batch + streaming). Mniej ofert niż Airflow, ale rośnie. Strategia: najpierw Airflow (konieczność rynkowa), potem Dagster jako nowoczesna alternatywa. Cron + skrypty w Pythonie — przestarzałe podejście, nie ucz się go jako podstawowego.

Tak, 27% ofert Data Engineer to praca w pełni zdalna lub hybrydowa. Praca jest w pełni oparta na chmurze (stacki DWH na AWS/GCP/Azure). Startupy i międzynarodowe SaaS — w pełni zdalnie. Rosyjskie firmy produktowe — hybrydowo (1-3 dni w biurze) lub zdalnie po okresie próbnym. Sber — częściej w biurze ze względu na zgodność z przepisami (rezydencja danych). Huby relokantów dla rosyjskojęzycznych Data Engineerów: Dubaj, Cypr, Lizbona, Berlin, Warszawa, Tbilisi. Angielski otwiera drogę do partnerów Databricks/Snowflake/dbt z premią +25-40% do wynagrodzenia.

Backend Engineer — API REST/GraphQL, logika biznesowa, transakcyjne bazy danych (PostgreSQL/MySQL). Nacisk: obsługa żądań produktu. Systemy OLTP. Data Engineer — pipeline'y ETL/ELT, modelowanie DWH, streaming, przetwarzanie wsadowe terabajtów. Nacisk: przenoszenie i transformacja dużych wolumenów danych. Systemy OLAP. ML Engineer — wdrażanie modeli na produkcję (FastAPI + ONNX/TorchServe), feature store, MLOps, monitoring modeli. Nacisk: inferencja gotowa na produkcję. Zmiana ścieżki: Backend Senior → Data Engineer Middle w 4-8 miesięcy (Airflow + dbt + jedna hurtownia DWH). Data Engineer → ML Engineer w 6-12 miesięcy (PyTorch + stack MLOps). Według wynagrodzeń: Data Engineer ≥ Backend Senior w Moskwie; ML Engineer ≈ Data Engineer Senior średnio.

Roadmapa: 1) Python do poziomu Middle — pandas, numpy, typowanie, testowanie. 2) SQL do poziomu zaawansowanego — funkcje okna, CTE, podzapytania, optymalizacja (EXPLAIN ANALYZE), indeksy. PostgreSQL + jedna baza OLAP (zalecany ClickHouse). 3) Airflow — oficjalny tutorial, napisz 3-5 DAG-ów. 4) Jedna hurtownia DWH: BigQuery (darmowy poziom) lub trial Snowflake. Opanuj modelowanie (schemat gwiazdy/płatka śniegu, SCD). 5) dbt — warstwa analytics engineering. Tutorial dbt + projekt własny na zbiorze jaffle-shop. 6) Podstawy PySpark — DataFrame API + jeden projekt własny z 1-10 GB danych. 7) Podstawy Kafki — producent/konsument + jeden projekt własny ze streamingiem. 8) Kompletny projekt własny: pipeline z API/plików przez Airflow + dbt do DWH, dashboard w Metabase/Superset, wdrożony w chmurze. Kursy: Karpov.Courses „Data Engineer”, OTUS „Data Engineer”, Yandex.Practicum „Data Engineer”, DataCamp Data Engineer Track. Książki: „The Data Warehouse Toolkit” Kimball, „Fundamentals of Data Engineering” Reis. Czas do Middle (Junior rzadko) — 12-18 miesięcy w pełnym wymiarze po doświadczeniu Python Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Senior Data Engineer odpowiada za pełny cykl pipeline'ów danych. SQL: biegłość (funkcje okna, rekurencyjne CTE, optymalizacja zapytań, partition pruning, widoki zmaterializowane). Python: biegłość w pandas/PySpark, profilowanie pamięci, async do ładowania obciążonego I/O. Systemy rozproszone: model wykonania Sparka (shuffle, broadcast, partycjonowanie), exactly-once w Kafce, two-phase commit, idempotentność. Modelowanie hurtowni: Kimball (schemat gwiazdy, SCD), Data Vault, architektura lakehouse (Delta Lake/Iceberg). Orkiestracja: projektowanie DAG-ów w Airflow (idempotentne zadania, backfille, sensory), dynamiczne generowanie DAG-ów. Strumieniowanie: projektowanie w Kafce (partycje, grupy konsumentów, exactly-once), Spark Streaming lub Flink. Chmura: jedna z AWS/GCP/Azure na poziomie architekta (IAM + optymalizacja kosztów + sieci + klasy pamięci masowej). Jakość danych: Great Expectations / Soda, metryki monitoringu + alerty. DevOps: Docker, operatory Kubernetes (Spark/Kafka na k8s), Terraform/Pulumi do IaC. Kompetencje miękkie: code review, mentoring Middle, praca z analitykiem/PM nad wymaganiami. Angielski — obowiązkowo dla Senior+ (stack danych jest przeważnie anglojęzyczny).