Databricks

• Data engineers que necesitan construir y orquestar pipelines de datos escalables con Spark, Delta Lake y DLT.
• Data analysts que quieren aprovechar Spark SQL, DBSQL Serverless, dashboards y AI/BI Genie.
• Data scientists e ingenieros de ML que buscan gestionar el ciclo de vida completo de modelos con MLflow y Model Serving.
• Arquitectos de datos que diseñan plataformas lakehouse con gobernanza, linaje, Delta Sharing y cumplimiento normativo.
• Equipos de plataforma que administran entornos Databricks y optimizan costes, serverless y CI/CD con Asset Bundles.

Fundamentos, instalación y Spark

Lakehouse architecture, workspace, clusters, notebooks, Community Edition, Spark SQL, DataFrames y lectura/escritura de datos.

Delta Lake 3+ y ETL

Transacciones ACID, time travel, schema evolution, MERGE/UPDATE/DELETE, OPTIMIZE y Z-ORDER, Delta UniForm, medallion architecture, Auto Loader con volumes y Delta Live Tables serverless con expectations.

Gobernanza y Machine Learning

Unity Catalog GA con linaje automático y volumes, Lakehouse Federation, Delta Sharing, MLflow 2+, experiment tracking, Model Registry en UC con aliases champion y challenger, Feature Store y AutoML.

GenAI, AI/BI y producción

Mosaic AI Model Serving con scale-to-zero, Foundation Model APIs (DBRX, Llama, Mixtral), Vector Search gestionado, RAG, AI Playground, Databricks Assistant, Databricks AI/BI Genie, Workflows serverless, scheduling, observabilidad, costes y Databricks Asset Bundles.

Proyecto integrador

Pipeline end-to-end sobre Databricks con Unity Catalog, Auto Loader, Delta Live Tables, MLflow con registro en UC, Mosaic AI Model Serving y AI/BI Genie, orquestado con Databricks Workflows serverless y empaquetado como Databricks Asset Bundle.

• Procesar datos a escala con Spark SQL y DataFrames en notebooks multi-lenguaje de Databricks.
• Diseñar pipelines ETL con Delta Lake, medallion architecture y Delta Live Tables serverless con validación de calidad.
• Gobernar datos con Unity Catalog GA: catálogos, esquemas, tablas, volumes, permisos, linaje y Delta Sharing.
• Gestionar el ciclo de vida de modelos de ML con MLflow 2+ y Model Registry en UC con aliases champion y challenger.
• Construir aplicaciones de IA generativa con Mosaic AI Model Serving, Foundation Model APIs, Vector Search y RAG.
• Explotar Databricks AI/BI Genie para analítica conversacional sobre tablas gobernadas.
• Desplegar, observar y optimizar costes de cargas en producción con Workflows serverless y Databricks Asset Bundles.