3

Tengo un df con 290 columnas. La mayoría contienen números, pero pandas las toma como strings. Tengo que convertirlas todas en int, pero hay algunas columnas que contienen palabras y, claro, necesito excluir esas columnas de la transformación o me dará error.

Esto es lo que hago:

df_test=df_test.apply(pd.to_numeric)
df_test=df_test.fillna(0)
df_test.astype("int")

Y me funciona si no hay columnas con palabras (por ejemplo, "Orange", "Movistar, etc.). Pero si intento lo mismo en un df con columnas con strings, error.

Pensaba que, quizá, usando la función .loc podría luego aplicar la función apply(pd.to_numeric). Algo así:

df.loc[:,[i for i in list(df.columns) if i not in ["compañia_telefonica","marca_smartphone].apply(pd.to_numeric)]]

Esto me da error. Supongo que no estoy colocando el "apply" y lo que sigue en el lugar correcto, pero he provado de todo y nada. Tal vez no funcione lo que intento.

PD:Tengo más columnas con nombres, pero pongo estas a modo de ejemplo.

¿Alguna sugerencia de como cambiar el tipo de las columnas exceptuando algunas que yo pueda definir? Es un proceso que tendré que hacer con varios df, por lo que, sea la como sea la solución, debería poder agregar o quitar columnas para excluir.

Muchas gracias!

Un saludo

2
  • Si en tu columna existe por ejemplo "banana155" debes excluirla? o debería tomar el 155 ? el 27 dic. 2019 a las 11:16
  • Excluirla también. Solo quiero las columnas que contienen int y float, nada más!
    – Deshume
    el 27 dic. 2019 a las 11:21

3 respuestas 3

3

Creo que la forma más simple es usar la máxima de Python, mejor que pedir permiso es pedir perdón, es decir, intentar convertir cada columna e ignorar la excepción cuando no se haya podido convertir:

for col in list(df.columns):
  try:
    df[col] = df[col].apply(pd.to_numeric)
  except ValueError:
    pass
1
  • Solucionado Patricio. Tomo nota de la máxima de Python hahaha Muchas gracias!
    – Deshume
    el 30 dic. 2019 a las 10:55
1

Bueno si es que entendí bien el planteo. Podemos hacer una función que se llame transformar y que reciba un parámetro que será la columna del df, donde vamos a devolver solo los valores númericos. Una manera de encarar este problema es asi:

def transformar(col):
    return [i if type(i) in [int,float] else np.nan for i in col] 

la función transformar, devuelve el valor númerico de cada columna, y devuelve NaN por el falso. (Esto lo tenemos que hacer porque si no ponemos nada en el else, nos arrojará la excepción Length of values does not match length of index.

Y finalmente se lo aplicamos a todo el DataFrame:

df = df.apply(lambda x: transformar(x))

pd: recuerda importar numpy

import numpy as np

1
  • Lo miro a ver qué tal. Muchas gracias Lucas!
    – Deshume
    el 30 dic. 2019 a las 10:56
1

Podrías probar utilizando un applymap para reemplazar los valores no númericos utilizando expresiones regulares:

   df=df.applymap(lambda x: float(re.sub(r"\d*[^\d]+\d*",r"0",str(x))))

Se aplicara a todas las columnas del dataframe la función lambda que primero reemplaza los valores alfanumericos por "0" y luego le aplica un castings a float para volver type numerico. Puedes reemplazar el float por int a tu gusto. Por ejemplo:

     import pandas as pd
     import re 

     df=pd.DataFrame()
     df["c1"]=range(1,7)
     df["c2"]=[1,2,'Orange','Movistar',4,'uno2']
     df=df.applymap(lambda x: float(re.sub(r"\d*[^\d]+\d*",r"0",str(x))))
     print(df)
     df.dtypes

El resultado es:

          c1   c2
       0  1.0  1.0
       1  2.0  2.0
       2  3.0  0.0
       3  4.0  0.0
       4  5.0  4.0
       5  6.0  0.0
   Out[92]: 
       c1    float64
       c2    float64
       dtype: object

Por otro lado, si quieres eliminar las filas que tengan strings entonces quitale el float y en vez de "0" reemplaza por None. Luego le haces drop

1
  • Lo intentaré. Muchas gracias Juan Carlos!
    – Deshume
    el 30 dic. 2019 a las 10:55

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.