Big Data: mercado

Vaga

uma vaga aberta que passou pelo filtro de qualidade e lista pelo menos duas tecnologias

Candidato observado

um candidato cujo stack contém esta tecnologia; um agregado — nenhum registro individual sai do perímetro

Candidato compatível

ainda não contado

Janela

vagas abertas no momento em que o snapshot foi gerado

Vagas de Big Data Júnior QUASE NÃO EXISTEM — o mercado espera experiência de Data Engineer Pleno + prática em Spark. O salto Júnior → Pleno — modelo de execução do Spark + um de Hadoop/Flink/Kafka a fundo. O Sênior é dono da arquitetura da plataforma de Big Data + mentor. Lead Big Data — gerenciar sistemas distribuídos com 5+ engenheiros, responsável pelo dimensionamento do cluster + otimização de custo. Fluxo de carreira: Data Engineer Pleno/Sênior → Big Data Pleno em 4-8 meses → Sênior → ou Platform Engineer (foco em infra) ou Lakehouse Architect (modern data stack).

Top 5: python, spark, cloud, hadoop, sql. Apache Spark — obrigatório (PySpark na maior parte, Spark Scala para performance-critical). Entendimento profundo do modelo de execução (DAG, stages, tasks), shuffles, broadcasts, partitioning. Hadoop — HDFS + Hive + YARN — legacy enterprise (Sber/bancos/telco), migrações para o stack open-source. Apache Flink — streaming de verdade, nicho premium. Kafka — obrigatório (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg — formatos de tabela de lakehouse (padrão moderno, substituindo o stack Hadoop clássico). Apache Hudi — alternativa ao Iceberg. HBase/Cassandra — NoSQL distribuído para real-time. Scala ou Python — Scala para Spark de produção, Python na maior parte. Airflow para orquestração de batch-jobs. Distribuições Cloudera/Hortonworks (legacy enterprise). Kubernetes — Spark em k8s + Spark Operator. Apache Atlas/DataHub — data lineage + catalog (obrigatório para Senior). Conhecimento de JVM tuning (GC G1/ZGC, heap profiling) — obrigatório para Senior de Spark Scala.

Apache Spark — padrão industrial + dominador. PySpark — o maior mercado, Spark Scala — nicho com adicional. 80%+ das vagas de Big Data exigem Spark. Contras: streaming por micro-batch (latência de segundos), não é tempo real de verdade. Hadoop (HDFS + MapReduce + Hive) — legado enterprise. Usado em grandes bancos/telecom onde a migração para open-source não terminou. Precisa conhecer se você trabalha no Sber/bancos. Tendência: migrações de Hadoop para Spark em k8s + Iceberg/Delta Lake. Apache Flink — motor de streaming de verdade, com latência de milissegundos e semântica exactly-once de fábrica. Segmento em crescimento: FinTech/AdTech/IoT/inferência de ML em tempo real. Menos vagas, mas adicional de Sênior em Flink (+15-25% sobre o Spark). Estratégia: Spark primeiro (tamanho de mercado), depois Flink para diversificação e salário com adicional. Aprenda Hadoop só se você vai para a área bancária.

Arquitetura lakehouse — arquitetura de dados moderna que combina Data Lake (armazenamento barato em S3/HDFS) com Data Warehouse (ACID + validação de schema + indexação). Substitui o stack Hadoop clássico. Três principais formatos de tabela: Delta Lake (original da Databricks, o mais maduro, dominante em empresas que usam Databricks), Apache Iceberg, Apache Hudi (terceiro lugar, atualizações mais rápidas via ingestão incremental). Iceberg/Delta Sênior — prêmio de +10-20% sobre Spark Sênior por ser habilidade rara. Estratégia: primeiro Iceberg (o padrão aberto vencedor 2024–2026), Delta Lake se você trabalha com Databricks, Hudi só para um caso de uso específico (CDC + muitas atualizações).

Sim, 29% das vagas de Big Data são remotas ou híbridas. O trabalho de administração de clusters — por natureza baseado em nuvem (AWS EMR / Databricks / GCP Dataproc). SaaS internacionais de cloud-data — totalmente remotos: Databricks (criadores do Spark), Snowflake, Confluent (Kafka), Cloudera, time AWS EMR, time GCP Dataproc. Hubs de relocação para Big Data Senior: Berlim (HQ da Databricks na UE), Amsterdã, Zurique (UE data-friendly), Dubai, Chipre. Inglês — obrigatório para remoto internacional com um prêmio +30-50%.

Big Data Engineer (esta página) — foco em sistemas distribuídos para processar terabytes+. Spark/Hadoop/Flink + gerenciamento de cluster. Adicional pela complexidade de sistemas distribuídos. Data Engineer (geral) — pode trabalhar com volumes menores (GB-TB) sem Spark. Foco em pipelines + modelagem de DWH. ML Engineer — leva modelos à produção (FastAPI + ONNX/TorchServe), feature store, MLOps. Foco em inferência. Remuneração: Big Data Sênior ≥ Data Engineer Sênior em 15-25%. ML Engineer Sênior ≈ Big Data Sênior. Mudança de carreira Data Engineer → Big Data em 4-8 meses (Spark + um lakehouse + Kafka). Big Data → ML Engineer em 8-12 meses (PyTorch + stack de MLOps). Muitos engenheiros Big Data Sêniores migram para ML Engineering (infraestrutura de dados → deploy de modelos).

Pressupõe experiência de Data Engineer Pleno (Python + SQL + Airflow + um DWH). Roadmap: 1) Apache Spark a fundo — documentação oficial + Databricks Learning Academy (gratuita). Dominar DataFrame API + Spark SQL + Window Functions + Structured Streaming. 2) Modelo de execução do Spark — planos físicos/lógicos, DAG, stages, tasks, shuffles, broadcasts, estratégias de particionamento. 3) PySpark — para a maioria dos projetos. Alternativa: Spark Scala para o crítico em desempenho. 4) Kafka — partitions, consumer groups, semântica exactly-once. 5) Um formato lakehouse: Iceberg (recomendado — vencedor de padrão aberto) ou Delta Lake (se for Databricks). 6) Noções de Hadoop — HDFS + Hive (para manutenção de projetos bancários legados). 7) Spark em Kubernetes (Spark Operator). 8) Pet project de ponta a ponta: pipeline Spark + Kafka + Iceberg + Airflow num dataset de 10-50 GB, com deploy na nuvem. Cursos: Karpov.Courses "Spark Developer", OTUS "Big Data Engineer", Yandex.Practicum (parte da trilha de Data Engineer), Databricks Learning Academy (EN — o melhor recurso gratuito), especialização "Big Data" da Coursera. Livros: "Spark: The Definitive Guide" Chambers/Zaharia, "Designing Data-Intensive Applications" Kleppmann (obrigatório). Data Engineer Pleno → Big Data Pleno — 4-8 meses.

487 active open Big Data positions — niche but premium segment. Geography: Poland, the US, India. The real market is broader thanks to a huge international remote segment (Databricks/Snowflake/Confluent — all full-remote-friendly). Time to close a Senior Big Data role — 6-12 weeks.

Um Big Data Engineer Sênior é dono do ciclo completo de sistemas distribuídos. Domínio de Spark: modelo de execução (plano lógico → plano físico → tarefas), otimização de shuffle (evitar shuffles quando possível, broadcast joins para tabelas pequenas, repartition vs coalesce, tratamento de skew), funcionamento interno do Catalyst optimizer, modelo de memória Tungsten, Spark SQL a fundo, Structured Streaming com exactly-once. Desempenho: tuning da JVM para Spark em Scala (G1/ZGC, dimensionamento do heap — executor.memory + driver.memory + memoryOverhead), pandas UDFs vs Pandas API on Spark, engine Photon (só no Databricks). Kafka: semântica producer-consumer a fundo, estratégias de particionamento, exactly-once via transações, schema registry (Avro/Protobuf), noções de Kafka Streams. Lakehouse: Iceberg/Delta — evolução de schema, time-travel, evolução de partições, optimize/vacuum, particionamento oculto. Administração de clusters: Spark em k8s (Spark Operator), otimização de custos (instâncias spot, autoescalonamento), Cloudera/Hortonworks para legado. SQL: SQL avançado para Spark SQL + Hive SQL + um DWH (Snowflake/BigQuery). Data Governance: Apache Atlas ou DataHub — linhagem, catálogo, controle de acesso. DevOps: Docker, Kubernetes, Terraform para IaC, CI/CD para aplicações Spark (Spark Submit + GitHub Actions). Soft skills: code review, mentoria, comunicação com Data Scientists / times de Analytics sobre requisitos. Inglês — obrigatório para Sênior+ (a documentação de Big Data é predominantemente em inglês, há poucas fontes em russo).