1

Estoy estudiando python y pandas de manera independiente y haciendo un proyecto de ensayo me encontré con un problema.

Tengo un CSV que contiene el scrap the una cuenta de Instagram. Una de las columnas tiene el contenido en texto (str) de cada post en esa cuenta.

Para poder hacer un analizis posterior, necesito crear una lista unica que contenga todas las palabras que se encuentren en esa columna.

Logre hacerlo pero estoy seguro que use la manera menos optima posible. Aqui mi codigo:

import pandas as pd

date_cols = ['pubDate','timestamp']
df = pd.read_csv('result.csv',
                 dtype={
                        'postUrl' : str,
                        'description' : str,
                        'commentCount' : int,
                        'likeCount' : int,
                        'location' : str,
                        'locationId' : str,
})

df_desc = df[['description']]
key = df_desc.stack().str.split("[^\w+]").explode().tolist()

df_key = pd.DataFrame({'UniqueKey' : key})

df_key.dropna(inplace = True)
df_key.drop_duplicates(subset="UniqueKey",
                     keep=False, inplace = True)

Seguramente hay una forma mas optima pero no doy con ella. Como ven estoy creando un df_desc pata contener solo la columna 'description' y poder usar el stack y luego cree otro df_key para poder convertir la lista creada en df_desc en una columna, porque al final necesitaba aislar del df principal esos datos para exportarlos.

Alguien podria guiarme en cual seria la forma eficiente?

Muchas Gracias

1
  • Buen día, si alguna respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta?. el 25 abr. a las 1:08

2 respuestas 2

0

En lugar de crear un dataframe adicional (df_desc) para seleccionar la columna 'description', puedes simplemente acceder directamente a esa columna utilizando la notación de corchetes. Además, en lugar de usar stack y explode, puedes simplemente concatenar todas las descripciones en una sola cadena y luego dividirla en palabras usando la función split.

import pandas as pd

df = pd.read_csv('result.csv',
                 dtype={
                        'postUrl' : str,
                        'description' : str,
                        'commentCount' : int,
                        'likeCount' : int,
                        'location' : str,
                        'locationId' : str,
                 })

all_words = ' '.join(df['description'].tolist()).split()
unique_words = list(set(all_words))

df_key = pd.DataFrame({'UniqueKey' : unique_words})
df_key.dropna(inplace=True)
df_key.drop_duplicates(subset="UniqueKey", keep=False, inplace=True)

df_key.to_csv('unique_words.csv', index=False)

Para obtener la lista de palabras únicas, usamos set() para eliminar duplicados y luego lo convertimos de nuevo a una lista con list().

0

Buen día,

En pandas las columnas de los dataframes son series, por lo que únicamente necesitas utilziar la función pandas.Series.unique en combinación con pandas.Series.tolist.

Como no pusiste tus datos cree un ejemplo genérico que tendrás que adaptar a tus necesidades:

import pandas as pd

df = pd.DataFrame({'description': ['a', 'a', 'ab', 'c']})
print(df['description'].unique().tolist())

Esto imprime la siguiente lista:

['a', 'ab', 'c']

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.