Big Data: mercado

Vacante

un empleo abierto que superó el filtro de calidad y menciona al menos dos tecnologías

Candidato observado

un candidato cuyo stack contiene esta tecnología; es un agregado: ni un solo registro sale del perímetro

Candidato emparejable

aún no contabilizado

Ventana

empleos abiertos en el momento en que se generó el snapshot

Las vacantes Junior de Big Data CASI NO EXISTEN: el mercado espera experiencia como Data Engineer Middle + práctica real con Spark. El salto de Junior a Middle: modelo de ejecución de Spark + uno de Hadoop/Flink/Kafka a fondo. Un Senior es responsable de la arquitectura de la plataforma Big Data y hace de mentor. Lead Big Data: gestión de sistemas distribuidos con 5+ ingenieros, responsable del dimensionamiento del clúster + la optimización de costes. Trayectoria: Data Engineer Middle/Senior → Big Data Middle en 4-8 meses → Senior → luego Platform Engineer (foco en infraestructura) o Lakehouse Architect (modern data stack).

Principales 5: python, spark, cloud, hadoop, sql. Apache Spark, obligatorio (PySpark para la mayoría, Spark Scala para lo crítico en rendimiento). Comprensión profunda del modelo de ejecución (DAG, stages, tasks), shuffles, broadcasts, partitioning. Hadoop, HDFS + Hive + YARN, legacy enterprise (Sber/bancos/telco), migraciones al stack open-source. Apache Flink, streaming real, nicho premium. Kafka, obligatorio (partitions, consumer groups, exactly-once). Delta Lake/Apache Iceberg, formatos de tabla lakehouse (estándar moderno, reemplazan al stack clásico de Hadoop). Apache Hudi, alternativa a Iceberg. HBase/Cassandra, NoSQL distribuido para real-time. Scala o Python, Scala para Spark en producción, Python para la mayoría. Airflow para orquestación de batch-jobs. Distribuciones Cloudera/Hortonworks (legacy enterprise). Kubernetes, Spark sobre k8s + Spark Operator. Apache Atlas/DataHub, data lineage + catalog (obligatorio para Senior). Conocimiento de tuning de la JVM (GC G1/ZGC, profiling de heap), obligatorio para Senior de Spark Scala.

Apache Spark: estándar industrial y dominador. PySpark es el mercado más grande; Spark en Scala, un nicho con prima. Más del 80% de los empleos de Big Data piden Spark. Inconvenientes: streaming en micro-batches (latencia de segundos), no es tiempo real de verdad. Hadoop (HDFS + MapReduce + Hive): enterprise heredado. Se usa en grandes bancos/telecos donde la migración a open source no ha terminado. Imprescindible si trabajas en Sber/bancos. Tendencia: migraciones de Hadoop a Spark sobre k8s + Iceberg/Delta Lake. Apache Flink: motor de streaming real con latencia de milisegundos y semántica exactly-once de serie. Segmento en crecimiento: FinTech/AdTech/IoT/inferencia de ML en tiempo real. Menos vacantes, pero prima para Senior Flink Engineer (+15-25% sobre Spark). Estrategia: primero Spark (tamaño del mercado), después Flink para diversificar y cobrar una prima. Aprende Hadoop solo si vas a la banca.

Arquitectura lakehouse: arquitectura de datos moderna que combina el Data Lake (almacenamiento barato en S3/HDFS) con el Data Warehouse (ACID + validación de esquema + indexación). Sustituye al stack clásico de Hadoop. Tres formatos de tabla principales: Delta Lake (original de Databricks, el más maduro, domina en empresas con Databricks), Apache Iceberg, Apache Hudi (tercer puesto, las actualizaciones más rápidas mediante ingesta incremental). Senior Iceberg/Delta: prima del +10-20% sobre un Senior Spark por ser una habilidad escasa. Estrategia: primero Iceberg (el ganador del estándar abierto 2024–2026), Delta Lake si trabajas con Databricks, Hudi solo para un caso de uso concreto (CDC + muchas actualizaciones).

Sí, el 29% de los empleos de Big Data son remotos o híbridos. El trabajo de administración de clústeres — cloud por naturaleza (AWS EMR / Databricks / GCP Dataproc). El SaaS cloud-data internacional — full-remote: Databricks (creadores de Spark), Snowflake, Confluent (Kafka), Cloudera, el equipo de AWS EMR, el equipo de GCP Dataproc. Hubs de relocación para Big Data Senior: Berlín (sede europea de Databricks), Ámsterdam, Zúrich (UE data-friendly), Dubái, Chipre. Inglés — obligatorio para el remoto internacional con una prima +30-50%.

Big Data Engineer (esta página): centrado en sistemas distribuidos para procesar terabytes o más. Spark/Hadoop/Flink + gestión de clústeres. Prima por la complejidad de los sistemas distribuidos. Data Engineer (general): puede trabajar con volúmenes menores (GB-TB) sin Spark. Centrado en pipelines + modelado de DWH. ML Engineer: despliega modelos en producción (FastAPI + ONNX/TorchServe), feature store, MLOps. Centrado en la inferencia. Salario: Big Data Senior ≥ Data Engineer Senior en un 15-25%. ML Engineer Senior ≈ Big Data Senior. Cambio de carrera de Data Engineer a Big Data en 4-8 meses (Spark + un lakehouse + Kafka). De Big Data a ML Engineer en 8-12 meses (PyTorch + stack de MLOps). Muchos ingenieros Big Data senior pasan a ML Engineering (de la infraestructura de datos al despliegue de modelos).

Se da por supuesta experiencia como Data Engineer Middle (Python + SQL + Airflow + un DWH). Hoja de ruta: 1) Apache Spark a fondo: documentación oficial + Databricks Learning Academy (gratis). Domina la DataFrame API + Spark SQL + funciones de ventana + Structured Streaming. 2) Modelo de ejecución de Spark: planes físicos/lógicos, DAG, stages, tasks, shuffles, broadcasts, estrategias de particionado. 3) PySpark: para la mayoría de los proyectos. Alternativa: Spark con Scala para lo crítico en rendimiento. 4) Kafka: particiones, consumer groups, semántica exactly-once. 5) Un formato lakehouse: Iceberg (recomendado: el ganador como estándar abierto) o Delta Lake (si usas Databricks). 6) Nociones de Hadoop: HDFS + Hive (para mantener proyectos bancarios heredados). 7) Spark sobre Kubernetes (Spark Operator). 8) Proyecto personal de extremo a extremo: pipeline Spark + Kafka + Iceberg + Airflow sobre un dataset de 10-50 GB, desplegado en la nube. Cursos: Karpov.Courses "Spark Developer", OTUS "Big Data Engineer", Yandex.Practicum (parte del itinerario de Data Engineer), Databricks Learning Academy (EN, el mejor recurso gratuito), especialización "Big Data" de Coursera. Libros: "Spark: The Definitive Guide" de Chambers/Zaharia, "Designing Data-Intensive Applications" de Kleppmann (lectura obligada). De Data Engineer Middle a Big Data Middle: 4-8 meses.

487 active open Big Data positions — niche but premium segment. Geography: Poland, the US, India. The real market is broader thanks to a huge international remote segment (Databricks/Snowflake/Confluent — all full-remote-friendly). Time to close a Senior Big Data role — 6-12 weeks.

Un Senior Big Data Engineer es responsable del ciclo completo de sistemas distribuidos. Dominio de Spark: modelo de ejecución (plan lógico → plan físico → tareas), optimización del shuffle (evitar shuffles cuando sea posible, broadcast joins para tablas pequeñas, repartition frente a coalesce, manejo del skew), funcionamiento interno del optimizador Catalyst, modelo de memoria Tungsten, Spark SQL a fondo, Structured Streaming con exactly-once. Rendimiento: ajuste de la JVM para Spark en Scala (G1/ZGC, dimensionado del heap: executor.memory + driver.memory + memoryOverhead), pandas UDFs frente a la Pandas API on Spark, motor Photon (solo Databricks). Kafka: semántica productor-consumidor a fondo, estrategias de particionado, exactly-once mediante transacciones, schema registry (Avro/Protobuf), nociones de Kafka Streams. Lakehouse: Iceberg/Delta: evolución de esquema, time travel, evolución de particiones, optimize/vacuum, particionado oculto. Administración de clústeres: Spark sobre k8s (Spark Operator), optimización de costes (instancias spot, autoescalado), Cloudera/Hortonworks para legacy. SQL: SQL avanzado para Spark SQL + Hive SQL + un DWH (Snowflake/BigQuery). Data Governance: Apache Atlas o DataHub: linaje, catálogo, control de accesos. DevOps: Docker, Kubernetes, Terraform para IaC, CI/CD para aplicaciones Spark (Spark Submit + GitHub Actions). Soft: code review, mentoría, comunicación con los equipos de Data Scientists / Analytics sobre los requisitos. Inglés: imprescindible para Senior+ (la documentación de Big Data está mayoritariamente en inglés, hay pocas fuentes en ruso).