1

No consigo eliminar las "stopwords". ¿Es necesario que convierta texto_m_sp_a_num en una lista o lo puedo hacer sin tener que hacer un .split()?

  def eliminar_stopwords(texto_m_sp_a_num, stop_words):
    """La función eliminar_stopwords recibe el resultado de texto_m_sp_a_num y el fichero stopwords, elimina las stopwords del texto y retorna un texto sin stopwords""" 
    texto_final = re.sub(stop_words, "", texto_m_sp_a_num)
    return texto final

print(eliminar_stopwords(texto_m_sp_a_num, stop_words))
3
  • 2
    ¿Qué es stop_words? ¿Una lista? ¿Una expresión regular? Falta ese detalle.
    – Candid Moe
    Commented el 31 oct. 2020 a las 21:30
  • "stop_words" es una lista que contiene las palabras que quiero eliminar del texto Commented el 1 nov. 2020 a las 11:52
  • ¿Como reemplazarias "stop1" en la siguiente frase: "stop1: pal stop1pre prestop1 __ stop1 ___ otra enstop1medio stop1."? Ojo: Los "_" representan espacios.
    – Candid Moe
    Commented el 1 nov. 2020 a las 12:10

1 respuesta 1

0

Hay muchas formas de hacerlo, puedes usar la librería NLTK, re, etc.

Yo te dejo aquí un ejemplo sin librerías, con puro Python:

stopwords = ["el", "para", "con", "contra", "de"]
texto = "el perro de ana se encontro con el de maria"

def eliminar_stopwords(texto, stopwords):
    return ' '.join([word for word in texto.split(' ') if word not in stopwords])


print(eliminar_stopwords(texto, stopwords))

Salida:

'perro ana se encontro maria'

Explicación

Te dejo explicado en orden lo que va ocurriendo

  1. split(' '): nos divide un string por el caracter que le indiquemos y nos devuelve una lista, en este caso le ponemos un espacio, para indicarle que divida el string por palabras

  2. Iteramos por cada palabra de la lista previamente creada con split(' '), con el condicional if le indicamos que solo se quede con las palabras que no se encuentren en "stopwords"

  3. ' '.join(): Una vez la iteración a acabado nos queda una lista, con las palabras que queremos, usamos ' '.join() para indicarle que nos una todas las palabras de esa lista con espacios. Por lo que tenemos nuestro string inicial con las palabras que queremos.

2
  • Muchas gracias! otro problema es que no consigo eliminar las "stopwords" que comienzan los párrafos. ¿Sabes cómo puedo eliminar esas tambien? Commented el 1 nov. 2020 a las 18:32
  • splitear por salto de línea, comas o puntos suele ser una buena medida extra ( Si en el texto de entrada:no se respeta el espacio entre comas;entre puntos y otros separadores.Es común encontrarse con esos casos. ) eso o normalizar primero el texto. Commented el 1 nov. 2020 a las 21:10

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.