0

Quisiera saber cómo puedo quitar stopwords a la columna b de un csv usando Pandas. La columna b a utilizar a sido convertida en array.

Precódigo:

# importar NLTK y crear un set de stop_words
from nltk.corpus import stopwords # to get rid of StopWords 
nltk.download('stopwords')
stop_words = set(stop_words)

# Leyendo el archivo
df = pd.read_csv(root_new_fn)

# Separando las columnas
(x_train, y_train) = (df.columna_b, df.columna_a)

# Convirtiéndolo en arrays
train_data_arr = np.array(list(x_train)) # Columna para aplicar stopwords
train_labels_arr = np.array(list(y_train))

OUTPUT ESPERADO:
Parecido a esto, sin embargo usando la librería pandas:

import csv
with open(root_new_fn, 'r') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    next(reader)
    for row in reader:
        article = (row[1])
        for word in stop_words:
            token = ' ' + word + ' '
            article = article.replace(token, ' ')
            article = article.replace(' ', ' ')
        x.append(article)
        train_data_arr = np.array(x)

1 respuesta 1

1

Puedes usar pandas.Dataframe.apply()

def stop_words_replace(article):
    for word in stop_words:
        token = ' ' + word + ' '
        article = article.replace(token, ' ')
    return article

df.columna_b = df.columna_b.apply(lambda article: stop_words_replace(article))
1
  • al final lo que hice fue df['columna_b'] = df['columna_b'].apply( lambda x: ' '.join([word for word in x.split() if word not in stop_words]) ) me pareció una buena opción y más sintética.
    – Y4RD13
    Commented el 1 mar. 2020 a las 22:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.