Transformers (Hugging Face)

• Desarrolladores Python que necesitan integrar y personalizar modelos de IA de última generación en aplicaciones de producción.
• Científicos de datos e ingenieros de ML que buscan dominar fine-tuning, RAG y despliegue de modelos transformer.
• Investigadores que quieren experimentar con arquitecturas preentrenadas y técnicas de NLP, visión y multimodalidad.
• Equipos de MLOps que necesitan optimizar y desplegar modelos con baja latencia y alto throughput.

Módulo 1: Fundamentos de transformers y ecosistema Hugging Face Arquitectura transformer, atención y multi head Evolución de modelos: BERT, GPT, T5, LLaMA, Mistral, Mamba, Jamba Ecosistema Hugging Face: Hub, Spaces, Datasets, Evaluate Tipos de tareas: NLP, visión, audio y multimodal Módulo 2: Instalación y entorno Instalación de Transformers con PyTorch o TensorFlow Hub API, tokens de acceso y huggingface_hub CLI Descarga de modelos, cache y gated models Configuración de GPU, device_map y Accelerate Módulo 3: Pipeline API Introducción a pipeline y tareas soportadas Clasificación de texto y sentiment analysis NER y question answering Summarization y translation Text generation con modelos conversacionales Módulo 4: Modelos y tokenizers en detalle AutoModel, AutoTokenizer y AutoConfig Arquitecturas encoder only, decoder only y encoder decoder Tokenización BPE, WordPiece, SentencePiece y Unigram Procesamiento de entrada: input_ids, attention_mask, padding Módulo 5: Fine tuning con Trainer y PEFT Estrategias de transfer learning Preparación de datasets con Datasets 3.0 Trainer API, TrainingArguments y callbacks Fine tuning de clasificación con BERT y RoBERTa LoRA, QLoRA y DPO con PEFT Módulo 6: Generación de texto Método generate y control de longitud Sampling: temperature, top_k, top_p y typical_p Beam search y diversidad Stopping criteria, logits processors y TextStreamer Chat templates y formatos de conversación Módulo 7: NLP avanzado Embeddings y pooling strategies Sentence transformers y similitud coseno Búsqueda semántica con FAISS y bases vectoriales Zero shot classification RAG con Transformers Módulo 8: Visión y multimodalidad Visión Transformers y feature extraction Clasificación de imágenes y fine tuning de ViT Detección de objetos con DETR y YOLOS Modelos multimodales: CLIP, LLaVA e Idefics Módulo 9: Optimización y producción Cuantización con bitsandbytes, GPTQ y AWQ Exportación a ONNX y benchmarking Servidores de inferencia: TGI y vLLM Inference Endpoints serverless y dedicados Buenas prácticas de despliegue y Transformers.js Proyecto integrador Pipeline completo: selección de modelo, fine tuning con LoRA, evaluación y despliegue como API

Este curso completo de Hugging Face Transformers recorre todo el stack necesario para trabajar profesionalmente con modelos transformer: desde los fundamentos teóricos de la arquitectura hasta el despliegue optimizado en producción, pasando por pipeline API, modelos y tokenizers, fine-tuning con Trainer y LoRA/QLoRA, generación de texto con estrategias de sampling, NLP avanzado con embeddings, búsqueda semántica y RAG, visión con ViT y modelos multimodales (CLIP, LLaVA), y técnicas de cuantización y servidores de inferencia.

• Dominar la pipeline API y las clases Auto para ejecutar y personalizar modelos preentrenados en cualquier tarea.
• Realizar fine-tuning con Trainer API y técnicas eficientes en parámetros (LoRA, QLoRA) para adaptar modelos a dominios específicos.
• Implementar pipelines de NLP avanzado con embeddings, búsqueda semántica y Retrieval-Augmented Generation.
• Trabajar con modelos de visión (ViT) y multimodales (CLIP, LLaVA) para clasificación de imágenes y visual QA.
• Optimizar y desplegar modelos en producción con cuantización, ONNX y servidores de inferencia escalables.