Tengo un dataframe df
en el que la columna palabras
tiene elementos que son listas.
por ejemplo:
df i palabras
0 ["abc", "def","ghi","jkl]
1 ["dd", "gg", "ds"]
2 ["asd", "qwe", "sdsw", "sde"]
y tengo un gran array llamado palabras_dict
, que me funciona como diccionario.
Mi objetivo es transformar df
en uno de la siguiente forma
df i palabras palabras_en_diccionario palabras_not_in
0 ["abc", "def","ghi","jkl] ["abc"] ["def","ghi","jkl]
1 ["dd", "gg", "ds"] ["dd", "ds"] ["gg"]
2 ["asd", "qwe", "sdsw", "sde"] ["sdsw", "sde"]
["asd", "qwe"]
es decir, separar la columna palabras
en dos, una con los string de df.palabras
que se encuentren en palabras_dict
y otro de las que no están.
Lo estoy hacienod así:
import swifter
df['palabras'].swifter.apply(lambda x: [_ for _ in x if _ in palabras_dict])
(Las otras columnas creo que las puedo hallar eficientemente con un .apply(lambda x: list(set(x) -?? ))
en la columna palabras
donde ?? = set(columna palabras_en_diccionario en la fila de x)
Pero esta linea para el primer filtro toma demasiado tiempo (7421 registros con cada fila de palabras
con buena cantidad de elementos)
Hay alguna forma vectorizada de manera que swifter
funcione más rápido o alguna manera de hacer el mismo ejercicio de una manera más eficiente?