5

Tengo un primer dataframe al que debo añadir las líneas de un segundo dataframe.

Este mas o menos como esta del primero:

    QID    Questions    B   Answer1 Answer2 Answer3 F G H I J
0   3   a   4.0 a   a   a   a   e   g   i   l    
1   4   b   5.0 b   b   b   a   r   h   m   p
2   5   d   5.0 NaN e   d   b   u   e   i   z
3   6   e   5.0 d   h   r   b   c   z   i   3
...

Y el segundo:

    QID    Questions    B   Answer1 Answer2 Answer3 F ...
0   1   a   4.0 a   a   a   a   
1   2   b   5.0 b   k   b   a   
2   2_1 z   5.0 b   k   b   a   
3   2_2 w   4.0 b   k   b   c   
4   3   d   5.0 NaN e   d   b   
5   4   e   5.0 d   h   r   b   
...

Me gustaría conseguir:

    QID    Questions    B   Answer1 Answer2 Answer3 F G H I J
0   3   a   4.0 a   a   a   a   e   g   i   l    
1   4   b   5.0 b   b   b   a   r   h   m   p
2   4_1 z   5.0 b   k   b   a   r   h   m   p
3   4_2 w   4.0 b   k   b   c   r   h   m   p
4   5   d   5.0 NaN e   d   b   u   e   i   z
5   6   e   5.0 d   h   r   b   c   z   i   3
...

Como pueden ver los dataframes comparten la Questions b así que he añadido las siguientes líneas que incluyen _ en el nuevo dataframe.

Literalmente esto significa que el primer cuadro de datos y el segundo cuadro de datos comparten los mismos textos t1 y t2 en las celdas de la columna "Respuestas". Pero para una combinación dada (t1,t2) donde t1 == t2, cuando también hay filas debajo de ella de tal manera que QID tiene un _ entonces quiero añadir esas filas después de la fila en la que se registraron.

Hasta hoy intenté:

rows_to_add = pd.DataFrame()
for i, row1 in df.iterrows():
  for j, row2 in df2.iterrows():
    if row1['Questions'] == row2['Questions']:
      # here I want to test if the next row has _ in his QID
      # if so I add all the lines with the same QID before _ but with row1 QID
      k = 0
      for _, next_row_df2 in df2[j+1:].iterrows():
        if "_" in str(next_row_df2['QID']):
          next_row_df2['QID'] = str(row1['QID']) + '_' + k
          rows_to_add += next_row_df2 # but I need to change the QID
        else:
          break # exit this loop and add the lines to the dataframe
        k += 1
      df = pd.concat([df.iloc[:i], rows_to_add, df.iloc[i:]]).reset_index(drop=True)
      rows_to_add = pd.DataFrame()

Pero no añade las filas. Tal vez podría hacerlo de una manera más eficiente: iterar sólo en las líneas df2 donde hay _? O con mapa-reduce?

Tal vez podría hacerlo de una manera más eficiente: iterar sólo en las líneas df2 donde hay _ ? Utilisar map reduce?

0

1 respuesta 1

2

aunque la explicación que das está un poco confusa, creo que entiendo lo que pides, corrigeme si hay alguna confusión.

  1. De las preguntas que hay en el dataframe_1 encontrar si la pregunta está repetida en el dataframe_2

  2. Si la pregunta está repetida, buscar las subpreguntas en el dataframe_2 que tienen un guión bajo en el QID.

  3. Reemplazar el QID de las subpreguntas en dataframe 2, por el QID de la pregunta en dataframe 1.

Podemos crear un método para que haga estas funciones:

# leemos los datos
df1 = pd.read_csv('dataframe_1.csv', index_col=0)
df2 = pd.read_csv('dataframe_2.csv', index_col=0)

# limpio las preguntas y qid que están vacios
df1 = df1.dropna(subset=['Questions', 'QID'])
df2 = df2.dropna(subset=['Questions', 'QID'])

def question_checker(qid, question, df2):
    """
    Input:
        qid: id de la pregunta en df1
        question: texto de la pregunta en df1
        df2: dataframe donde buscaremos si hay preguntas repetidas y las subpreguntas 
    Output:
        subquestions_df: dataframe with all subquestions found in df2
    """

    # buscamos si la pregunta está en el dataframe 2
    repeated_question = df2[df2['Questions'] == question]
    
    # si existe, buscamos por el qid de la pregunta en el dataframe 2
    if len(repeated_question) > 0:
        for i, row in repeated_question.iterrows():
            df2_qid = row['QID']
            sub_questions = df2[df2['QID'].str.startswith(f'{df2_qid}_')]

            # si hay subpreguntas, reemplazamos el qid
            if len(sub_questions) > 0:
                sub_questions['QID'] = sub_questions['QID'].str.replace(df2_qid, qid)
                return sub_questions

Y por último, utilizamos este método para revisar todas las preguntas en el dataframe_1

new_df = pd.DataFrame()
for i, row in df1.iterrows():
    qid = row['QID']
    question = row['Questions']
    sub_rows = question_checker(qid, question, df2)
    if sub_rows is not None:
        new_df = new_df.append(sub_rows)

Y puedes unir este nuevo dataframe con el dataframe_1, poner el index, ordenarlo y demás.

Espero te sirva.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.