Preprocesamiento de textos para NLP

En este ejercicio de programación, te centrarás en aplicar una función de tokenización personalizada usando Scikit-Learn para preprocesar un conjunto de datos de texto en español. Utilizarás el conjunto de datos de mensajes de correo electrónico proporcionado por Scikit-Learn y definirás una función que:

• convierte el texto a minúsculas,
• elimina signos de puntuación,
• conserva acentos,
• y excluye cualquier token que contenga números.

Instrucciones:

Carga de datos:

• Utiliza el conjunto de datos fetch_20newsgroups, disponible en Scikit-Learn.
• Filtra el subconjunto de datos relacionados con categorías de correos electrónicos.

Tokenización personalizada:

• Define una función personalizada que convierta cada mensaje a minúsculas y elimine signos de puntuación excepto los acentos.
• Filtra los tokens que contienen números, asegurando que solo palabras alfabéticas permanezcan.

Vectorización:

• Implementa un CountVectorizer con la función de tokenización personalizada que has definido.
• Aplica el vectorizador para transformar los textos preprocesados y obtener una representación numérica.

Resultados:

• Imprime las primeras cinco características obtenidas (tokens) de la matriz de características numéricas.