0

Tengo una dataframe con una columna que tiene una tabla. Todas ellas deben ser columnas con tantas string como respuestas haya en ellas. Sin embargo, algunas tablas son respuestas diseccionadas en tantas string como letras haya. Me gustaría 1. deshacerme de estos casos aquí, o 2. bien asegurarme de adjuntar todas estas string para obtener la respuesta original.

,Unnamed: 0,Unnamed: 0.1,Unnamed: 0.1.1,Questions,Answers,QType
0,0,0,1,When do you think your next vacation can start?,"['In next 3 months', 'In next 6 months', 'In next 1 year', 'Only once COVID-19 is under control', 'Only once COVID-19 vaccine is developed']",
... 
114,114,114,115,How many return international/ long distance trips per year did you take on average before the Coronavirus outbreak?,"['Never', '1-3 times', '4-6 times', '>6 times']",
115,115,115,116,Are you an Airline XYZ Club card holder?,"['Yes', -2, ""No, but I'd like to join"", -2, 'No', -2]",
116,116,116,117,Your Travel Plans,"['T', 'e', 'l', 'l', ' ', 'u', 's', ' ', 'a', ' ', 'l', 'i', 't', 't', 'l', 'e', ' ', 'b', 'i', 't', ' ', 'a', 'b', 'o', 'u', 't', ' ', 't', 'h', 'e', ' ', 'p', 'l', 'a', 'n', 's', ' ', 'y', 'o', 'u', ' ', 'h', 'a', 'v', 'e', ' ', 't', 'o', ' ', 'l', 'o', 'o', 'k', ' ', 'f', 'o', 'r', 'w', 'a', 'r', 'd', ' ', 't', 'o', ' ', 'p', 'o', 's', 't', '-', 'l', 'o', 'c', 'k', 'd', 'o', 'w', 'n', '.']",

1 respuesta 1

1

Lo que tienes en la columna Answers es, o bien NaN (supongo que en los casos en que no hay respuesta), o bien una cadena, si bien los contenidos de esa cadena tienen la estructura y sintaxis de una lista python.

Podemos hacer una función que reciba como parámetro uno de esos valores y hacer lo siguiente:

  • Si no es un string, retornar el valor original (será NaN)
  • Si es un string, evaluarlo con eval() para obtener la lista python
  • Procesar esa lista en la forma siguiente: si todos sus elementos tienen longitud 1, juntar todos ellos en una sola cadena (usando "".join())
  • De lo contrario retornar la lista original.

Una función que hace lo descrito sería:

def fix_bad_answers(answers):
  if type(answers) != str:
    return answers
  answers = eval(answers)
  if all(len(a)==1 for a in answers):
    return ["".join(answers)]
  return answers

Ahora podemos aplicar esta función a todos los datos de la columna y sustiuir la columna original por los resultados de este procesamiento:

df.Answers = df.Answers.map(fix_bad_answers)

Tras ello el dataframe tiene:

>>> print(df[["Questions", "Answers"]])
                                           Questions                                            Answers
0    When do you think your next vacation can start?  [In next 3 months, In next 6 months, In next 1...
1                                                NaN                                                NaN
2  How many return international/ long distance t...            [Never, 1-3 times, 4-6 times, >6 times]
3           Are you an Airline XYZ Club card holder?    [Yes, -2, No, but I'd like to join, -2, No, -2]
4                                  Your Travel Plans  [Tell us a little bit about the plans you have...

Todos los elementos de la columna Answers son ahora listas (salvo los NaN, aunque sería sencillo cambiar la función fix_answers() para que en ese caso retorne una lista vacía y así todo sean siempre listas). Como demostración, podemos extraer algunos elementos:

>>> df.Answers[0][0]
'In next 3 months'

>>> df.Answers[4][0]
'Tell us a little bit about the plans you have to look forward to post-lockdown.'

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.