Engenheiro de Dados: mercado

Vaga

uma vaga aberta que passou pelo filtro de qualidade e lista pelo menos duas tecnologias

Candidato observado

um candidato cujo stack contém esta tecnologia; um agregado — nenhum registro individual sai do perímetro

Candidato compatível

ainda não contado

Janela

vagas abertas no momento em que o snapshot foi gerado

Vagas Júnior são escassas — o mercado espera Python Pleno + SQL avançado ou uma troca vinda de Backend/Analyst. O salto Júnior → Pleno — Airflow + um DWH + noções de Spark. O Sênior é dono de todo um domínio de dados (ex.: event pipeline). Lead Data Engineer / Head of Data Platform — conduz 3-8 engenheiros, é dono das decisões de arquitetura + modelo de DWH + data governance. Fluxo de carreira: Backend Pleno/Analyst Sênior → Data Engineer Pleno → Sênior → ou Analytics Engineering (foco em dbt), Platform Engineering (foco em infra), ou Head of Data.

Top 5: python, cloud, sql, aws, azure. Python — obrigatório (pandas, PySpark, boto3, GCP SDK). SQL — avançado obrigatório (window functions, CTEs, otimização de queries, EXPLAIN ANALYZE). Airflow — padrão de orquestração da indústria; Dagster/Prefect crescendo em projetos novos. Spark (PySpark/Scala) — big data batch + streaming. Kafka — obrigatório para Middle+ em event-driven. Flink — skill premium para streaming de verdade. dbt — padrão da transform layer no modern data stack. DWH: Snowflake (cloud premium), BigQuery (GCP), ClickHouse (OLAP, domina na CEI), Redshift (AWS legacy). Storage: S3/HDFS, Delta Lake/Apache Iceberg (lakehouse). Docker+Kubernetes. Terraform/Pulumi para IaC. Senior — observabilidade (Datadog/Grafana + Great Expectations / Soda para data quality).

Spark — padrão da indústria para batch + streaming micro-batch. PySpark o maior mercado de trabalho, Spark Scala — nicho premium. Usado por 80%+ das equipes de DWH. Desvantagem: latência de micro-batch (segundos-minutos), não realtime de verdade. Flink — engine de streaming de verdade com latência de milissegundos, semântica exactly-once out of the box. Segmento em crescimento: FinTech/AdTech/IoT/inferência de ML em tempo real. Menos vagas, mas um Senior Flink Engineer é premium (+15-25% sobre o Spark). Kafka Streams (apenas Java/Scala) — biblioteca de streaming leve, não um cluster separado. Boa para processamento de stream em nível de microsserviço, ruim para joins/estado pesados. Estratégia: Spark primeiro (tamanho de mercado), depois Flink para diversificação e pagamento premium. Kafka Streams — um add-on de nicho para engenheiros de backend na JVM.

Apache Airflow — padrão do setor, domina 80%+ das vagas. DAGs em Python, enorme ecossistema de operadores. Desvantagens: baseado em agendamento, não orientado a eventos nativamente, geração dinâmica de DAGs fraca. Dagster — desafiante moderno (no estilo Elementl/Astronomer). Centrado em assets, a melhor DX, testes nativos, data lineage de fábrica. Segmento em crescimento: startups de produto, modern data stack. Dagster Sênior — prêmio de +10-15%. Prefect — entre Airflow e Dagster em filosofia. Bom para workflows híbridos (batch + streaming). Menos vagas que Airflow, mas em crescimento. Estratégia: primeiro Airflow (necessidade do mercado), depois Dagster como alternativa moderna. Cron + scripts Python — abordagem ultrapassada, não aprenda como principal.

Sim, 27% das vagas de Data Engineer são totalmente remotas ou híbridas. O trabalho é totalmente baseado em nuvem (stacks de DWH da AWS/GCP/Azure). Startups e SaaS internacionais — totalmente remoto. Empresas de produto russas — híbrido (1-3 dias no escritório) ou remoto após o período de experiência. Sber — mais frequentemente presencial por causa de compliance (data residency). Hubs de relocação para Data Engineers de língua russa: Dubai, Chipre, Lisboa, Berlim, Varsóvia, Tbilisi. O inglês abre parceiros Databricks/Snowflake/dbt com um prêmio +25-40% sobre o salário.

Backend Engineer — APIs REST/GraphQL, lógica de negócios, bancos de dados transacionais (PostgreSQL/MySQL). Foco: atender às requisições do produto. Sistemas OLTP. Data Engineer — pipelines ETL/ELT, modelagem de DWH, streaming, processamento batch de terabytes. Foco: mover e transformar grandes volumes de dados. Sistemas OLAP. ML Engineer — implantar modelos em produção (FastAPI + ONNX/TorchServe), feature store, MLOps, monitoramento de modelos. Foco: inferência pronta para produção. Mudança de carreira: Backend Sênior → Data Engineer Pleno em 4-8 meses (Airflow + dbt + um DWH). Data Engineer → ML Engineer em 6-12 meses (PyTorch + stack de MLOps). Por salário: Data Engineer ≥ Backend Sênior em Moscou; ML Engineer ≈ Data Engineer Sênior em média.

Roadmap: 1) Python até Middle — pandas, numpy, typing, testes. 2) SQL até avançado — window functions, CTEs, subqueries, otimização (EXPLAIN ANALYZE), índices. PostgreSQL + um OLAP (ClickHouse recomendado). 3) Airflow — tutorial oficial, escreva 3-5 DAGs. 4) Um DWH: BigQuery (free tier) ou trial do Snowflake. Domine modelagem (star/snowflake schema, SCD). 5) dbt — camada de analytics engineering. tutorial de dbt + pet project com o dataset jaffle-shop. 6) Noções de PySpark — DataFrame API + um pet project com 1-10 GB de dados. 7) Noções de Kafka — producer/consumer + um pet de streaming. 8) Pet project ponta a ponta: pipeline de API/arquivos através de Airflow + dbt para o DWH, dashboard no Metabase/Superset, publicado na cloud. Cursos: Karpov.Courses "Data Engineer", OTUS "Data Engineer", Yandex.Practicum "Data Engineer", DataCamp Data Engineer Track. Livros: "The Data Warehouse Toolkit" Kimball, "Fundamentals of Data Engineering" Reis. Tempo até Middle (Junior raro) — 12-18 meses em tempo integral após experiência de Python Middle.

5834 active open Data Engineer positions in the Zorky sample. Geography: the US, Poland, the UK. The real market is broader than the sample thanks to internal-only positions at large banks and CIS product companies. Time to close a Senior Data Engineer role — 4-8 weeks.

Um Data Engineer Sênior é dono do ciclo completo de pipelines de dados. SQL: domínio (funções de janela, CTEs recursivas, otimização de consultas, partition pruning, materialized views). Python: domínio de pandas/PySpark, profiling de memória, async para ingestão com muito I/O. Sistemas distribuídos: modelo de execução do Spark (shuffle, broadcast, particionamento), exactly-once no Kafka, two-phase commit, idempotência. Modelagem de DWH: Kimball (star schema, SCD), Data Vault, arquitetura lakehouse (Delta Lake/Iceberg). Orquestração: design de DAGs no Airflow (tarefas idempotentes, backfills, sensors), geração dinâmica de DAGs. Streaming: design no Kafka (partições, consumer groups, exactly-once), Spark Streaming ou Flink. Nuvem: uma entre AWS/GCP/Azure no nível de arquiteto (IAM + otimização de custos + redes + camadas de armazenamento). Qualidade de dados: Great Expectations / Soda, métricas de monitoramento + alertas. DevOps: Docker, operadores Kubernetes (Spark/Kafka em k8s), Terraform/Pulumi para IaC. Soft skills: code review, mentoria de Plenos, trabalho com Analistas/PM sobre requisitos. Inglês — obrigatório para Sênior+ (o stack de dados é predominantemente em inglês).