3

Tengo el siguiente DataFrame:

         df= 
             0      1      2      3      4   ...     43    44    45    46    47
    0       B349   M179   R42X   K040   R17X  ...   None  None  None  None None
    1       M545   Q729   R609   J00X   F339  ...   None  None  None  None None

La dimensión real del Dataframe es: df= [220957 rows x 48 columns]

Necesito crear un DataFrame con una sola columna que almacene todos los valores de todas las columnas de dfignorando las casillas vacias (no importa el orden).

Para el ejemplo si todos los valores en las columnas despues de 4 fueran vacias el resultado seria así:

  0      B349
  1      M179
  2      R42X
  3      K040
  4      R17X
  5      M545
  6      Q729
  7      R609
  8      J00X
  9      F339

Yo he intentado hacerlo usando la función transponer:

  df = pd.concat([df.T[x] for x in df.T], ignore_index=True)

y pensaba luego eliminar los valores no validos, pero se demora muchisimo teniendo en cuenta la cantidad de datos del DataFrame real.

Alguien me puede ayudar?. Les agradezco!

1 respuesta 1

2

Dado que aparentemente todas tus columnas son de tipo object (str) no tienes que preocuparte por la posible conversión de tipos y puedes usar el método pandas.DataFrame.to_numpy para obtener los valores como un array NumPy, luego aplanar el array con numpy.ndarray.flatten y aplicar un filtro boleano para eliminar los valores None. Después simplemente usa el array como columna para el nuevo DataFrame:

import pandas as pd
import numpy as np


df = pd.DataFrame({0: ['a', 'b', None],
                   1: [None, 'c', None],
                   2: [None, None, None],
                   3: ['d', 'e', 'f']
                   })
>>> df

      0     1     2  3
0     a  None  None  b
1     c     d  None  e
2  None  None  None  f
data = df.to_numpy().flatten()
res = pd.DataFrame(data[data != None])
>>> res
   0
0  a
1  b
2  c
3  d
4  e
5  f

Puedes cambiar el orden en el que se aplana el array con el argumento order del método flatten si lo deseas, "c" para filas (por defecto) o "f" para columnas. Parece confuso pero 'c' hace referencia al lenguaje y 'f' a y se debe a la forma en la que almacenan cada lenguaje los arrays en memoria (row mayor / column mayor).

Nota: el método to_numpy() se ha agregado a partir de NumPy 0.24.0, si se usa una versión anterior deberás usar el atributo values: df.values.flatten()

1
  • Muchisimas gracias!
    – Carolina
    Commented el 31 jul. 2019 a las 14:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.