Quisiera saber cómo puedo quitar stopwords a la columna b
de un csv
usando Pandas. La columna b
a utilizar a sido convertida en array.
Precódigo:
# importar NLTK y crear un set de stop_words
from nltk.corpus import stopwords # to get rid of StopWords
nltk.download('stopwords')
stop_words = set(stop_words)
# Leyendo el archivo
df = pd.read_csv(root_new_fn)
# Separando las columnas
(x_train, y_train) = (df.columna_b, df.columna_a)
# Convirtiéndolo en arrays
train_data_arr = np.array(list(x_train)) # Columna para aplicar stopwords
train_labels_arr = np.array(list(y_train))
OUTPUT ESPERADO:
Parecido a esto, sin embargo usando la librería pandas:
import csv
with open(root_new_fn, 'r') as csvfile:
reader = csv.reader(csvfile, delimiter=',')
next(reader)
for row in reader:
article = (row[1])
for word in stop_words:
token = ' ' + word + ' '
article = article.replace(token, ' ')
article = article.replace(' ', ' ')
x.append(article)
train_data_arr = np.array(x)