1

Tengo un dataframe df en el que la columna palabras tiene elementos que son listas. por ejemplo:

df  i            palabras
    0  ["abc", "def","ghi","jkl]
    1  ["dd", "gg", "ds"]
    2  ["asd", "qwe", "sdsw", "sde"]

y tengo un gran array llamado palabras_dict, que me funciona como diccionario.

Mi objetivo es transformar df en uno de la siguiente forma

df  i            palabras           palabras_en_diccionario      palabras_not_in 
    0  ["abc", "def","ghi","jkl]         ["abc"]                ["def","ghi","jkl]
    1  ["dd", "gg", "ds"]                ["dd",  "ds"]               ["gg"]
    2  ["asd", "qwe", "sdsw", "sde"]     ["sdsw", "sde"]          

["asd", "qwe"]

es decir, separar la columna palabras en dos, una con los string de df.palabras que se encuentren en palabras_dict y otro de las que no están.

Lo estoy hacienod así:

import swifter

df['palabras'].swifter.apply(lambda x: [_ for _ in x if _ in palabras_dict])

(Las otras columnas creo que las puedo hallar eficientemente con un .apply(lambda x: list(set(x) -?? )) en la columna palabrasdonde ?? = set(columna palabras_en_diccionario en la fila de x)

Pero esta linea para el primer filtro toma demasiado tiempo (7421 registros con cada fila de palabras con buena cantidad de elementos)

Hay alguna forma vectorizada de manera que swifter funcione más rápido o alguna manera de hacer el mismo ejercicio de una manera más eficiente?

1 respuesta 1

2

Tienes varias opciones:

1. Probar con map.

Puedes usar el método map en ocasiones puede ser más rápido. Te quedaría así:

df_palabras['palabras_en_diccionario'] = df_palabras['palabras'].map(lambda x: [_ for _ in x if _ in palabras_dict])

2. Usar Dask

Dask es un framework igual que Pandas, de hecho copia a Pandas, con el objetivo de poder trabajar con conjuntos de datos más grandes. Una de sus principales ventajas es que puede trabajar en paralelo, esto quiere decir que puede coger tu 7421 registros y crear x dataframes donde x es el número de hilos que tu tienes (o asignas) y finalizar mucho más rápido (dependiendo del número de hilos que tengas). Te quedo un ejemplo de su funcionamiento, ya que es muy parecido a Pandas, pero te recomiendo leerte su documentación aquí.

import dask.dataframe as dd

N = 8 #Número de hilos que quieres en funcionamiento esto hará que la operación vaya casí 8 veces más rápido

#Nos traemos el dataframe, de Pandas a Dask.
dd_palabras = ddf.from_pandas(df_palabras, npartitions=N)

# Para aplicar la función, usamos .compute()
dd_palabras['palabras_en_diccionario'] = dd_palabras.['palabras'].map(lambda x:[_ for _ in x if _ in palabras_dict]).compute()

Advertencias:

  • En la biblioteca multiprocesing tienes la función cpu_counts() por si no sabes el número de hilos que tiene tu CPU
  • En Dask las funciones no se ejecutan cuando lanzas el código, se almacenan en un grafo de operaciones, esperando a que tu le ordenes que se tienen que ejecutar, esto se conoce como lazy evaluation y es una de las principales virtudes de Dask, que le permite manejar grandes cantidades de datos a gran velocidad

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.