Tengo un primer dataframe al que debo añadir las líneas de un segundo dataframe.
Este mas o menos como esta del primero:
QID Questions B Answer1 Answer2 Answer3 F G H I J
0 3 a 4.0 a a a a e g i l
1 4 b 5.0 b b b a r h m p
2 5 d 5.0 NaN e d b u e i z
3 6 e 5.0 d h r b c z i 3
...
Y el segundo:
QID Questions B Answer1 Answer2 Answer3 F ...
0 1 a 4.0 a a a a
1 2 b 5.0 b k b a
2 2_1 z 5.0 b k b a
3 2_2 w 4.0 b k b c
4 3 d 5.0 NaN e d b
5 4 e 5.0 d h r b
...
Me gustaría conseguir:
QID Questions B Answer1 Answer2 Answer3 F G H I J
0 3 a 4.0 a a a a e g i l
1 4 b 5.0 b b b a r h m p
2 4_1 z 5.0 b k b a r h m p
3 4_2 w 4.0 b k b c r h m p
4 5 d 5.0 NaN e d b u e i z
5 6 e 5.0 d h r b c z i 3
...
Como pueden ver los dataframes comparten la Questions b
así que he añadido las siguientes líneas que incluyen _
en el nuevo dataframe.
Literalmente esto significa que el primer cuadro de datos y el segundo cuadro de datos comparten los mismos textos t1
y t2
en las celdas de la columna "Respuestas". Pero para una combinación dada (t1,t2) donde t1 == t2
, cuando también hay filas debajo de ella de tal manera que QID tiene un _
entonces quiero añadir esas filas después de la fila en la que se registraron.
Hasta hoy intenté:
rows_to_add = pd.DataFrame()
for i, row1 in df.iterrows():
for j, row2 in df2.iterrows():
if row1['Questions'] == row2['Questions']:
# here I want to test if the next row has _ in his QID
# if so I add all the lines with the same QID before _ but with row1 QID
k = 0
for _, next_row_df2 in df2[j+1:].iterrows():
if "_" in str(next_row_df2['QID']):
next_row_df2['QID'] = str(row1['QID']) + '_' + k
rows_to_add += next_row_df2 # but I need to change the QID
else:
break # exit this loop and add the lines to the dataframe
k += 1
df = pd.concat([df.iloc[:i], rows_to_add, df.iloc[i:]]).reset_index(drop=True)
rows_to_add = pd.DataFrame()
Pero no añade las filas. Tal vez podría hacerlo de una manera más eficiente: iterar sólo en las líneas df2 donde hay _
? O con mapa-reduce?
Tal vez podría hacerlo de una manera más eficiente: iterar sólo en las líneas df2 donde hay _ ? Utilisar map reduce?