PySpark / Apache Spark

• Ingenieros de datos que procesan grandes volúmenes de información en entornos distribuidos.
• Científicos de datos que necesitan escalar sus análisis y modelos de machine learning a Big Data.
• Desarrolladores Python que trabajan con ETL, pipelines de datos o procesamiento en tiempo real.
• Profesionales de analítica y Business Intelligence que necesitan dominar herramientas de procesamiento distribuido modernas.

Módulo 1: Fundamentos de Apache Spark Introducción a Apache Spark Arquitectura de Spark Modelo de ejecución PySpark vs Scala Módulo 2: Instalación y entorno de trabajo Instalación de PySpark SparkSession Spark Connect Spark UI Jupyter y Databricks Módulo 3: RDDs: Resilient Distributed Datasets Creación de RDDs Transformaciones de RDDs RDDs clave valor Acciones sobre RDDs Persistencia de RDDs Módulo 4: DataFrames Creación de DataFrames Esquemas y tipos de datos Lectura de datos Operaciones básicas con DataFrames Agrupación y agregación Ordenación y conjuntos Pandas API on Spark Módulo 5: Spark SQL Vistas temporales y SQL Joins Window functions UDFs Catalyst Optimizer Módulo 6: Transformaciones avanzadas Pivot y unpivot Arrays y explode Maps y structs Funciones de fecha Funciones de cadena Nulos y condicionales Módulo 7: Structured Streaming Introducción a Streaming readStream writeStream Watermarks y ventanas Streaming con Kafka Módulo 8: Machine Learning con MLlib Pipelines ML Feature engineering Clasificación Regresión Clustering y PCA Evaluación y tuning Sistemas de recomendación Integraciones ML Módulo 9: Producción y optimización Particionamiento Escritura de datos Delta Lake Broadcast y accumulators Optimización de rendimiento Testing spark submit y despliegue en producción

Este curso completo de PySpark recorre la API de Python para Apache Spark de principio a fin: desde la arquitectura driver executor, Spark Connect y el modelo de ejecución hasta el despliegue en producción con spark submit, pasando por RDDs, DataFrames, Pandas API on Spark, Spark SQL con joins y window functions, UDFs, transformaciones avanzadas (pivot, explode, funciones de fecha y cadena), Structured Streaming con integración Kafka, machine learning distribuido con MLlib (pipelines, clasificación, regresión, clustering, sistemas de recomendación, evaluación e integraciones con scikit learn, PyTorch y XGBoost), Delta Lake para data lakehouse, testing de pipelines y optimización de rendimiento con particionamiento, broadcast y caché.

• Dominar la arquitectura de Apache Spark y configurar entornos de trabajo con PySpark.
• Trabajar con RDDs y DataFrames para procesamiento de datos a gran escala.
• Escribir consultas complejas con Spark SQL, joins, window functions y UDFs.
• Aplicar transformaciones avanzadas sobre datos estructurados y semiestructurados.
• Implementar pipelines de procesamiento en tiempo real con Structured Streaming.
• Construir modelos de machine learning distribuidos con MLlib.
• Optimizar y desplegar aplicaciones PySpark en entornos de producción.