5

Estoy cargando archivos muy grandes de CSV donde hay información que no utilizo. Lo que hago actualmente es pasar a listas y luego fitrar con condiciones.

Por ejemplo, en una columna tengo "A" y "B" pero solo quiero aquellas filas que tienen "A", por lo tanto filtro los "B" y lo hago para todas las demás listas que cargo desde Pandas. Creo que es muy ineficiente lo que estoy haciendo, de cargar con Pandas y luego convertir las columnas a listas para filtrarlas.

Existe alguna manera más eficiente de filtrar los datos. Yo cargo los datos de esta forma en Pandas:

   import pandas as pd
   df = pd.read_csv('C:\\Users\\4209456\\Downloads\\TECNICO\\BBDD FD.csv', header=0, sep=';',parse_dates = ['Date'],dayfirst = True)

y luego creo listas de algunas columnas:

   FD=df["FD Text"]
   Fecha=pd.to_datetime(df["Date"],dayfirst = True)

De ahí para ambas listas filtro según una condición de la lista "FD", creando otra lista "FD2", dentro de la condición tengo la lista "Fecha" creando una lista corregida "Fecha2". De esta forma tengo las listas que necesito para comenzar mi código que son "FD2" y "Fecha2", manteniendo las posiciones originales de los datos que quedaron de la filtración.

3
  • Hola Jorge, por supuesto que puedes filtrar datos una vez cargado el csv en el dataframe, hay varias formas pero se puede hacer simplemente usando un condicional aplicado a la columna. ¿Lo que quieres es eliminar las filas enteras que tengan un determinado valor en una columna?
    – FJSevilla
    Commented el 22 ago. 2017 a las 13:11
  • Exactamente @FJSevilla, deseo eliminar una fila completa. Commented el 22 ago. 2017 a las 13:14
  • Jorge mira la respuesta a ver si es esto lo que deseas. Es lo más básico, si necesitas algo diferente aporta un ejemplo de entrada y salida esperada. Si quieres puedes eliminar las filas en el Dataframe original con df.drop. El orden de las filas no se altera en ningún momento como es obvio.
    – FJSevilla
    Commented el 22 ago. 2017 a las 13:49

1 respuesta 1

5

Hay varias formas de filtrar filas en Pandas, lo más simple es crear una máscara (array de booleanos) usando un condicional sobre la columna en cuestión y posteriormente filtrar las filas del Dataframe con ella. Básicamente es el procedimiento que se sigue en NumPy para filtrar arrays. A esto se le conoce como indexación booleana.

Podemos crear un pequeño ejemplo para verlo:

import pandas as pd
from io import StringIO

data = StringIO('''
Nombre,Edad,Sexo,Fecha
Juan,12,M,20/08/2017
Laura,21,F,24/07/2017
Pedro,53,M,13/01/2017
María,17,F,15/03/2017
Luís,19,M,15/07/2017
Miguel,23,M,14/08/2017
''')

df = pd.read_csv(data, header=0, parse_dates = ['Fecha'], dayfirst = True)

Tenemos por tanto el siguiente Dataframe:

>>> df

   Nombre  Edad Sexo      Fecha
0    Juan    12    M 2017-08-20
1   Laura    21    F 2017-07-24
2   Pedro    53    M 2017-01-13
3   María    17    F 2017-03-15
4    Luís    19    M 2017-07-15
5  Miguel    23    M 2017-08-14

Podemos filtrar usando la columna sexo para obtener otro Dataframe que solo contenga las filas correspondientes a mujeres simplemente haciendo:

>>> df2 = df[df['Sexo'] == 'F']
>>> df

  Nombre  Edad Sexo      Fecha
1  Laura    21    F 2017-07-24
3  María    17    F 2017-03-15

Con df['Sexo'] == 'F' simplemente se crea una máscara que en este caso es una serie de Pandas y que contiene una única columna de booleanos: [False, True, False, True, False, False] resultado de comparar si cada valor de la columna es igual a 'F'. Podemos filtrar con cualquier otro iterable de valores boleanos, por ejemplo un array de NumPy, una lista, una columna de otro DataFrame, etc.

Otro ejemplo, filtrando los que tienen 18 años o más:

>>> df2 = df[df['Edad'] >= 18]

>>> df2

   Nombre  Edad Sexo      Fecha
1   Laura    21    F 2017-07-24
2   Pedro    53    M 2017-01-13
4    Luís    19    M 2017-07-15
5  Miguel    23    M 2017-08-14

Edición:

Puedes filtrar por fechas siguiendo la misma idea, por ejemplo podemos filtrar las fila con Fecha entre la fecha actual y 30 días atrás:

>>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[(df['Fecha'] > fecha_limite)]
>>> df2

   Nombre  Edad Sexo      Fecha
0    Juan    12    M 2017-08-20
1   Laura    21    F 2017-07-24
5  Miguel    23    M 2017-08-14

También se pueden usar varias condiciones, por ejemplo la condición anterior pero que además sea mujer:

>>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[(df['Fecha'] > fecha_limite) & (df['Sexo'] == 'F')]
>>> df2

  Nombre  Edad Sexo      Fecha
1  Laura    21    F 2017-07-24

Se puede filtrar usando el índice de la misma forma o usando loc, por ejemplo, si nuestra columna Fecha fuera en índice del DataFrame (DateTimeIndex) podemos hacer:

>>> fecha_limite = pd.datetime.now().date() - pd.Timedelta(days=30)
>>> df2 = df[df.index.date > fecha_limite]
3
  • Muchas gracias, se me olvidaba agregar otra cosa a la pregunta que editaré. En mis archivo CVS siempre se le agrega nueva Data, pero quiero importar siempre como máximo los últimos 2 meses no el libro completo. Yo ya parseo la Fecha desde la carga del archivo, con tu forma que me dices me serviría igual hacer esto? cargar por ejemplo desde hoy a 30 días para atrás? Commented el 22 ago. 2017 a las 15:38
  • @JorgePonti si lo que quieres es filtrar fechas se hace igual. He editado la respuesta agregando un ejemplo. Mencionas que los archivos van recibiendo nuevos datos, no se si tienes un límite para esto, de no ser así terminarás con csv muy grandes y esto es muy ineficiente con posibilidad de tener problemas de RAM Hay formas de paliarlo como leer el archivo por trozos usando un iterador (pandas puede hacer esto), leer solo x lineas finales, etc, no obstante en estos casos es mejor usar otro sistema de almacenaje como bases de datos o archivos HDF5 y no archivos de texto plano. Un saludo.
    – FJSevilla
    Commented el 22 ago. 2017 a las 19:42
  • Genial gracias! Commented el 23 ago. 2017 a las 12:44

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.