Aprender PySpark Instalación y entorno de trabajo

Configurar correctamente el entorno de trabajo es el primer paso para desarrollar con PySpark. La instalación más sencilla se realiza con pip install pyspark, que incluye una distribución de Apache Spark y gestiona automáticamente las dependencias de Java necesarias para ejecutar la JVM.

La SparkSession es el punto de entrada principal de cualquier aplicación PySpark. Se crea mediante el patrón builder y permite configurar parámetros como el nombre de la aplicación, el modo de ejecución (local[*] para desarrollo, yarn o k8s para producción) y opciones avanzadas de memoria y paralelismo.

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("MiAplicacion") \
    .master("local[*]") \
    .config("spark.executor.memory", "2g") \
    .config("spark.driver.memory", "1g") \
    .getOrCreate()

print(f"Versión de Spark: {spark.version}")

La Spark UI (accesible en http://localhost:4040 durante la ejecución) proporciona información detallada sobre jobs, stages, tasks, uso de almacenamiento y variables de entorno. Es la herramienta principal para diagnosticar problemas de rendimiento y entender cómo Spark ejecuta las operaciones.

Para flujos de trabajo interactivos, PySpark se integra perfectamente con Jupyter Notebooks, Databricks y Google Colab, que proporcionan entornos preconfigurados con soporte para visualización y exploración de datos distribuidos.