Clasificación de Texto con Scikit Learn

En este reto, tendrás que construir un clasificador Naive Bayes multinomial para identificar categorías de texto a partir de un conjunto de datos desbalanceado. Identificar correctamente las clases con menor frecuencia es crucial para mejorar el rendimiento del modelo, por lo que te proporcionamos un dataset que podrás utilizar para aplicar técnicas de balanceo de clases mediante Scikit-Learn.

Utilizaremos el dataset de noticias 20 Newsgroups de Scikit-Learn, particularmente las categorías 'sci.space' y 'rec.sport.baseball'. Este dataset ya está desbalanceado y es ideal para el reto.

Carga del dataset:

• Utiliza la función fetch_20newsgroups de Scikit-Learn para cargar las categorías mencionadas.

Division y vectorización:

• Divide el dataset en conjuntos de entrenamiento y prueba asegurando la proporción adecuada de las clases.
• Vectoriza los documentos de texto usando el vectorizador TF-IDF.

Preprocesamiento de datos desbalanceados:

• Maneja el desbalanceo de clases ajustando los pesos de las clases o mediante técnicas de sobremuestreo como SMOTE o RandomOverSampler de imblearn.

Creación yentrenamiento del modelo:

• Implementa un clasificador Naive Bayes Multinomial sobre los datos procesados.

Predicción y evaluación del modelo:

• Realiza predicciones sobre el conjunto de prueba y evalúa el modelo usando el F1-score ponderado.

Resultados:

• Presenta el F1-score obtenido y justifica la eficacia de las técnicas utilizadas para manejar el desbalance de clases.