0

estoy haciendo el siguiente código donde quiero eliminar palabras de parada (stopword), pero cuando elimino por ejemplo la palabra al se me elimina también sobre grupos de texto que no quiero que suceda, por ejemplo VALVE INOP queda como VVE INOP. Actualmente este es mi código:

import pandas as pd
import nltk
from nltk.corpus import stopwords
import re


df = pd.read_csv('/Users/jorgepontigo/text_mining_reliability/raw data/faults_systems.csv', header=0, sep=',',parse_dates = ['failure_date'], usecols=[0,1,2,3], dayfirst = True)

df["fault_name_clean"] = df.fault_name.str.replace("AL", ' ', regex=False)\
        .str.replace("A", "")\
        .str.replace("IN ", "")\
        .str.replace("THE ", "")\
        .str.replace("DISPLAYED ", "")\
        .str.replace("DAILY ", "")\
        .str.replace("FAULT ", "")\
        .str.replace(" CHECK ", "")\
        .str.replace(" PROBLEM ", "")\
        .str.replace(" POSITION ", "")\
        .str.replace(" REPORTA ", "")


print(df["fault_name_clean"])

Alguien me puede ayudar? por ejemplo en el segundo replace solo elimine las coincidencias exactas de A ya que si ven lo que imprime el código en la prima fila, desaparecen todas las A.

Agradecería montones su ayuda. Les adjunto el input CSV que uso en el código.

https://drive.google.com/file/d/1pKQQ9zP4cdLCSmEO5ZuylmEX1hYsWP0i/view?usp=sharing

2 respuestas 2

1

Puedes utilizar expresiones regulares

import re 
cadena = "VALVE INOP"

print(re.sub(r"\bAL\b", " ", cadena)) #Output: VALVE INOP

print(cadena.replace("AL",'')) #Output: VVE INOP

Aquí tienes una buena guía: https://docs.python.org/2/library/re.html#re.sub

EDIT:

Para utilizar una expresión regular dinámica lo que puedes hacer es pasarla a una cadena, es decir:

import re
cadena = "VALVE INOP"
input = "A" #Lo pongo así por simplicidad
rx = r"\b"+input+"L\b"
print(re.sub(rx, " ", cadena)) #Output: VALVE INOP
5
  • Genial pero pero tengo una duda, lo estoy haciendo para la serie de pandas así: df["fault_name_clean"] = re.sub(r"\bAL\b", " ", df["fault_name"]) pero me genera este error TypeError: expected string or bytes-like object Commented el 18 may. 2020 a las 16:55
  • Prueba con df["fault_name_clean"] = re.sub(r"\bAL\b", " ", str(df["fault_name"]))
    – Gonzalo-GC
    Commented el 18 may. 2020 a las 16:59
  • buena al final lo hice así igual df["fault_name_clean"] = df.fault_name.str.replace(r"\bA\b", ' ', regex=True) Commented el 18 may. 2020 a las 17:00
  • Vale @Gonzalo-GC , tengo una última duda si yo definirera antes un input, por ejemplo input=AL y eso lo ingreso al código me genera error, se podrá hacer? quedaría así: re.sub(r"\b"input"L\b", " ", cadena) Commented el 18 may. 2020 a las 17:20
  • Acabo de editar la respuesta, espero que te sirva
    – Gonzalo-GC
    Commented el 18 may. 2020 a las 17:54
1

Si el objetivo es remover todas las stopwords de tu texto (evitando hacer replace una a una), puedes usar las stopwords de nltk.

Una posible adaptación de tu código sería algo como esto:

import pandas as pd
import nltk
#import re
from nltk.corpus import stopwords
nltk.download('stopwords')

df = pd.read_csv('/Users/jorgepontigo/text_mining_reliability/raw `data/faults_systems.csv', header=0, sep=',',parse_dates = ['failure_date'], usecols=[0,1,2,3], dayfirst = True)`

stop_words = set(stopwords.words('english')) 

EDICION: Corrijo el codigo y añado una mejora pasando todo el texto a minúscula antes de remover stopwords. Este código lo he verificado con tus datos:

df['words'] = df["fault_name"].str.lower().str.split()
print (df['words'])# Aquí tendrás texto separado en palabras y en minúscila

df['fault_name_clean']=df['words'].apply(lambda x: [item for item in x if item not in stop_words])

print(df["fault_name_clean"])# aquí tendrás las palabras sin stopwords

print(df["fault_name_clean"])

Si quieres saber cuáles palabras se consideran stopwords (y se eliminarían de tu texto) puedes verlas haciendo:

print(stopwords.words('english'))

Puedes encontrar ejemplos similares removiendo stopwords con nltk en: Cómo quitar STOPWORDS de una columna de un csv usando Pandas? Python y https://stackoverflow.com/questions/29523254/python-remove-stop-words-from-pandas-dataframe.

2
  • Vale gracias cuando realizo esta línea df['texto_tokenizado'] = df['Tu_columna_de_texto'].apply(stop_words) que en mi caso sería así df['texto_tokenizado'] = df['fault_name'].apply(stop_words) tengo este error 'set' object is not callable Commented el 18 may. 2020 a las 17:33
  • @Jorge Ponti, he hecho una edición de la posible solución para verificar que ejecuta sin errores. También he pasado a minúscula el texto antes de omitir stopwords, para mejorar los resultados.
    – EJS
    Commented el 18 may. 2020 a las 18:16

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.