Representación de texto y extracción de características

En este reto, se espera que los estudiantes implementen una pipeline en la que puedan transformar una colección de documentos de texto en una representación numérica utilizando técnicas del modelo de bolsa de palabras, y que aplique posteriormente una clasificación básica usando un clasificador de Naive Bayes. El desafío será utilizar tanto CountVectorizer como TfidfVectorizer para observar las diferencias y su impacto en la clasificación de los documentos de ejemplo.

Carga de datos: Carga un conjunto de documentos de ejemplo o utiliza datos proporcionados internamente en el código en forma de lista de cadenas. Puedes usar estos datos, la lista documents como si fuera una entrada “X” y la lista categories como si fuera una salida “y”:

documents = [
    "cats and dogs",
    "lions and tigers",
    "apples and bananas",
    "oranges and lemons",
    "pet food for cats and dogs",
    "the zoo has lions and tigers",
    "fruit salad with apples and bananas",
    "freshly squeezed oranges and lemons"
]
categories = ["pets", "animals", "fruits", "fruits", "pets", "animals", "fruits", "fruits"]

Aplicar CountVectorizer: Implementa el uso del CountVectorizer para transformar los documentos en una matriz de conteo de palabras.

• Imprime el vocabulario y la matriz de conteos resultante.

Aplicar TF-IDF Vectorizer: Ahora, transforma la misma colección de documentos utilizando TfidfVectorizer para obtener la representación TF-IDF.

• Imprime el vocabulario y la matriz TF-IDF resultante.

Entrenamiento del clasificador: Implementa un Pipeline que integre el TfidfVectorizer seguido por un clasificador MultinomialNB.

• Utiliza una colección de documentos y categorías predefinidas para entrenar el modelo.

Evaluación del modelo: Evalúa el rendimiento del modelo clasificador entrenado realizando predicciones sobre un nuevo conjunto de documentos y compara los resultados con las etiquetas verdaderas.