Para hacer lo que quieres tendremos que crear una función que se encargue de ese trabajo. Para poder obtener la concatenación o la palabra que no está tendremos que transformar los datos en "conjuntos" y hacer operaciones de conjuntos, como lo es la diferencia.
En python no existen los conjuntos pero si podemos aplicar las operaciones en los set
que son un tipo de dato representados así: {val1, val2, val3}
, sus elementos son únicos.
Para poder obtener la palabra que no está entre otras 2 tan solo debemos convertir a set
cada dato y restar, por ejemplo {"hola", "mundo"} - {"mundo"}
dará {"hola"}
.
Para hacer esta conversión usaremos un ciclo for
y el método apply
para poder aplicarle una transformación a ciertos datos.
def create_df_from_coincidences(df1, df2, **kwargs)->pd.DataFrame:
data=[]
for i in range(len(df1)-1):
word_1 = df1.loc[i, "palabra"]
word_2 = df1.loc[i+1, "palabra"]
if any(df2.loc[:,"compuesto"].isin([f"{word_1} {word_2}"])):
data.append(f"{word_1}_{word_2}")
else:
word_encountered = sorted([{word_1, word_2}- word_table for word_table in df2.loc[:,"compuesto"].apply(lambda x: set(x.split(" ")))])
if len(word_encountered[0])==1:
data+=list(word_encountered[0])
return pd.DataFrame(data, **kwargs)
Esta función toma como argumento 2 dataframes, se itera en el rango de 0
hasta len(df)-1
debido a que iremos comprando i concatenado con i+1
y al llegar al último nos pasaremos del rango, por eso iteramos hasta len(df)-1
. Luego accedemos al contenido de esas celdas, es decir a i
e i+1
y guardamos esos datos, luego concatenamos esos datos y usamos isin
para verificar si están contenido en alguna parte del segundo dataframe (tabla 2). Aquí usamos la función any
pues al usar ìsin
se nos devuelve una serie con valores booleanos (no solo uno) y al usar un condicional con una serie de booleanos pandas entra en conflicto ya que no sabe a que dato te refieres, por eso usamos any
para verificar que por lo menos 1 dato sea True
. En caso la concatenación de las 2 palabras no esté, entonces tendremos que hallar la palabra que no está, para ello convertimos cada elemento del DataFrame 2 en un set
y hallamos la diferencia, luego simplemente guardamos el dato.
Para tu ejemplo he recreado tus DataFrames y los he usado con mi función.
cols = ["id", "palabra"]
data =[
[0, "no"],
[0, "podré"],
[0, "hoy"],
[1, "sí"],
[1, "es"],
[1, "posible"]
]
df1 = pd.DataFrame(data, columns=cols)
cols2=["compuesto"]
data2 = [
["no podré"],
["es posible"]
]
df2 = pd.DataFrame(data2, columns=cols2)
final = create_df_from_coincidences(df1, df2)
La función también recibe argumentos variables y estos argumentos adicionales son para pandas, donde puedes especificar datos adicionales de como quieres que quede tu dataframe, puedes agregar nombre a la columna o indices, recuerda que esto debe ser acorde a pandas, pues todo esto lo realiza pandas. Por tanto podemos escribir:
final = create_df_from_coincidences(df1, df2, columns=["datas"], index=[1,2,3,4])
Y obtendremos:
|
datas |
1 |
no_podré |
2 |
hoy |
3 |
sí |
4 |
es_posible |
.isin()
??