Data Engineer : marché

Offre

une offre ouverte ayant passé le contrôle qualité et citant au moins deux technologies

Candidat observé

un candidat dont la stack contient cette technologie ; un agrégat — aucune fiche individuelle ne sort du périmètre

Candidat correspondant

pas encore compté

Fenêtre

offres ouvertes au moment de la création de l'instantané

Les offres Junior sont rares — le marché attend Python Middle + SQL avancé ou une reconversion depuis le Backend/l'analyse. Le saut Junior → Middle — Airflow + un DWH + bases de Spark. Le Senior est responsable de tout un domaine de données (par ex. le pipeline d'événements). Le Lead Data Engineer / Head of Data Platform — dirige 3-8 ingénieurs, responsable des décisions d'architecture + du modèle DWH + de la gouvernance des données. Parcours de carrière : Backend Middle/analyste Senior → Data Engineer Middle → Senior → soit Analytics Engineering (focus dbt), soit Platform Engineering (focus infrastructure), soit Head of Data.

Top 5 : python, cloud, sql, aws, azure. Python — indispensable (pandas, PySpark, boto3, GCP SDK). SQL — niveau avancé indispensable (fonctions de fenêtrage, CTE, optimisation des requêtes, EXPLAIN ANALYZE). Airflow — le standard d'orchestration du secteur ; Dagster/Prefect progressent dans les nouveaux projets. Spark (PySpark/Scala) — big data en batch + streaming. Kafka — obligatoire à partir de Middle dans l'event-driven. Flink — compétence premium pour le vrai streaming. dbt — le standard de la couche de transformation dans la modern data stack. DWH : Snowflake (cloud premium), BigQuery (GCP), ClickHouse (OLAP, domine dans la CEI), Redshift (AWS, historique). Stockage : S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi pour l'IaC. Senior — observabilité (Datadog/Grafana + Great Expectations / Soda pour la qualité des données).

Spark — le standard du secteur pour le batch + le streaming en micro-batch. PySpark — le plus grand marché de l'emploi, Spark Scala — une niche premium. Utilisé par 80 %+ des équipes DWH. Inconvénient : latence du micro-batch (secondes-minutes), pas de vrai temps réel. Flink — un vrai moteur de streaming avec une latence de l'ordre de la milliseconde et une sémantique exactly-once native. Segment en croissance : FinTech/AdTech/IoT/inférence ML en temps réel. Moins d'offres, mais une prime pour un ingénieur Flink Senior (+15-25 % par rapport à Spark). Kafka Streams (Java/Scala uniquement) — une bibliothèque de streaming légère, pas un cluster séparé. Bien pour le traitement de flux au niveau d'un microservice, mauvais pour les jointures lourdes/l'état. Stratégie : Spark d'abord (taille du marché), puis Flink pour se diversifier et obtenir une rémunération premium. Kafka Streams — un complément de niche pour les ingénieurs backend JVM.

Apache Airflow — standard de l'industrie, présent dans 80 %+ des offres. DAG en Python, immense écosystème d'opérateurs. Inconvénients : basé sur la planification, pas nativement événementiel, génération dynamique de DAG médiocre. Dagster — challenger moderne (type Elementl/Astronomer). Centré sur les assets, la meilleure DX, tests natifs, lignage des données d'emblée. Segment en croissance : startups produit, modern data stack. Senior Dagster — prime de +10-15 %. Prefect — entre Airflow et Dagster sur le plan philosophique. Adapté aux workflows hybrides (batch + streaming). Moins d'offres qu'Airflow, mais en croissance. Stratégie : Airflow d'abord (nécessité du marché), puis Dagster comme alternative moderne. Cron + scripts Python — approche dépassée, à ne pas apprendre en priorité.

Oui, 27 % des offres de Data Engineer sont entièrement à distance ou hybrides. Le travail se fait entièrement dans le cloud (stacks DWH sur AWS/GCP/Azure). Startups et SaaS internationaux — tout à distance. Entreprises produit russes — hybride (1-3 jours au bureau) ou à distance après la période d'essai. Sber — plus souvent au bureau pour des raisons de conformité (localisation des données). Pôles d'expatriation pour les Data Engineers russophones : Dubaï, Chypre, Lisbonne, Berlin, Varsovie, Tbilissi. L'anglais ouvre les partenaires de Databricks/Snowflake/dbt avec une prime de +25-40 % sur le salaire.

Backend Engineer — API REST/GraphQL, logique métier, bases transactionnelles (PostgreSQL/MySQL). Focus : servir les requêtes du produit. Systèmes OLTP. Data Engineer — pipelines ETL/ELT, modélisation DWH, streaming, traitement batch de téraoctets. Focus : déplacer et transformer de grands volumes de données. Systèmes OLAP. ML Engineer — déploiement de modèles en production (FastAPI + ONNX/TorchServe), feature store, MLOps, monitoring des modèles. Focus : inférence prête pour la production. Reconversion : Backend Senior → Data Engineer Middle en 4-8 mois (Airflow + dbt + un DWH). Data Engineer → ML Engineer en 6-12 mois (PyTorch + stack MLOps). Par salaire : Data Engineer ≥ Backend Senior à Moscou ; ML Engineer ≈ Data Engineer Senior en moyenne.

Feuille de route : 1) Python jusqu'au niveau Middle — pandas, numpy, typage, tests. 2) SQL jusqu'au niveau avancé — fonctions de fenêtrage, CTE, sous-requêtes, optimisation (EXPLAIN ANALYZE), index. PostgreSQL + un OLAP (ClickHouse recommandé). 3) Airflow — tutoriel officiel, écrire 3-5 DAG. 4) Un DWH : BigQuery (offre gratuite) ou un essai Snowflake. Maîtriser la modélisation (schéma en étoile/en flocon, SCD). 5) dbt — couche d'analytics engineering. Tutoriel dbt + projet personnel avec le jeu de données jaffle-shop. 6) Bases de PySpark — API DataFrame + un projet personnel avec 1-10 Go de données. 7) Bases de Kafka — producer/consumer + un projet personnel de streaming. 8) Projet personnel de bout en bout : pipeline depuis une API/des fichiers via Airflow + dbt vers un DWH, tableau de bord sur Metabase/Superset, déployé dans le cloud. Formations : Karpov.Courses « Data Engineer », OTUS « Data Engineer », Yandex.Practicum « Data Engineer », DataCamp Data Engineer Track. Livres : « The Data Warehouse Toolkit » de Kimball, « Fundamentals of Data Engineering » de Reis. Délai jusqu'au niveau Middle (le Junior est rare) — 12-18 mois à temps plein après une expérience Python Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Un Data Engineer Senior prend en charge le cycle complet des pipelines de données. SQL : maîtrise (fonctions de fenêtrage, CTE récursives, optimisation des requêtes, élagage des partitions, vues matérialisées). Python : maîtrise de pandas/PySpark, profilage mémoire, asynchrone pour l'ingestion à forte composante I/O. Systèmes distribués : modèle d'exécution de Spark (shuffle, broadcast, partitionnement), exactly-once de Kafka, commit en deux phases, idempotence. Modélisation DWH : Kimball (schéma en étoile, SCD), Data Vault, architecture lakehouse (Delta Lake/Iceberg). Orchestration : conception de DAG Airflow (tâches idempotentes, backfills, sensors), génération dynamique de DAG. Streaming : conception Kafka (partitions, groupes de consommateurs, exactly-once), Spark Streaming ou Flink. Cloud : l'un de AWS/GCP/Azure au niveau architecte (IAM + optimisation des coûts + réseau + classes de stockage). Qualité des données : Great Expectations / Soda, métriques de supervision + alertes. DevOps : Docker, opérateurs Kubernetes (Spark/Kafka sur k8s), Terraform/Pulumi pour l'IaC. Soft skills : revue de code, mentorat des Middle, travail avec l'Analyste/le PM sur les exigences. Anglais — indispensable pour Senior+ (la stack data est majoritairement en anglais).