2

estoy encadenando Dataframes de Pandas de la siguiente forma:

import os
import pandas as pd

file = [file for file in os.listdir() if file.endswith('csv')]
dict = {}
for file in file:
    d[file] = pd.read_csv(file)

df_A = pd.concat([dict['A_0.csv'], dict['A_1.csv']], axis=1)

si en vez de tener dos archivos (A_0.csv y A_1.csv) tuviera muchos más, ¿que loop tendría que crear para que me encadenara todos los Dataframes?

Muchas gracias.

1 respuesta 1

4

Puedes usar usar el módulo glob para filtrar los archivos. Es aconsejable que uses iteradores en vez de crear listas, diccionarios o dataframes intermedios que no vas a usar más.

Una opción sería:

import glob
import os
import pandas as pd

ruta = ''  # Ruta al directorio que contiene los csv 
archivos_csv = glob.iglob(os.path.join(ruta, "*.csv")) 
dataframes = (pd.read_csv(csv) for csv in archivos_csv)
df  = pd.concat(dataframes, axis=1)

Nota: No debes usar dict como identificador de una variable, sobreescribes a la clase dict y puedes terminar con resultados inesperados. En todo caso usa dict_.


Edición:

Si quires imprimir los nombres de los archivos, puedes prescindir de glob.iglob (retorna un iterador) y usar glob.glob (retorna una lista):

ruta = '' 
archivos_csv = glob.glob(os.path.join(ruta, "*.csv")) 
print("Archivos csv encontrados:")
print(*(os.path.basename(path) for path in archivos_csv),   sep= "\n")

#En Python 2.x cambiar por:
#print "Archivos csv encontrados:"
#for nombre in (os.path.basename(path) for path in archivos_csv):
#    print nombre

Salida:

Archivos csv encontrados:
2.csv
1.csv
3.csv

O imprimir una lista con los nombres de los archivos directamente:

ruta = '' 
archivos_csv = glob.glob(os.path.join(ruta, "*.csv")) 
print([os.path.basename(path) for path in archivos_csv])

Salida:

['2.csv', '1.csv', '3.csv']


Nota: glob no retorna los archivos en un orden determinado, si se quisiera ir abriendo los archivos en función a un orden determinado podemos usar sorted/list.sort sobre la salida de glob.glob: archivos_csv = sorted(glob.iglob(os.path.join(ruta, "*.csv")))

5
  • Gracias por aconsejarme sobre el uso de generadores e iteradores, estos consejos bienen muy bien. ¿Cómo puedo hacer un print de los archivos csv sobre los que itera archivos_csv?
    – user15871
    Commented el 13 nov. 2017 a las 17:55
  • @Rg111 he editado la respuesta añadiendo una posible solución al final de esta. Mírala a ver si te sirve. Un saludo.
    – FJSevilla
    Commented el 13 nov. 2017 a las 18:57
  • Perfecto, muchas gracias. Dos preguntas: ¿a que hace referencia el * en print(*(os.path.basename(path) for path in archivos_csv), sep= "\n")?, ¿para la segunda salida, en la que se imprime una lista, sería lo mismo hacer print(archivos_csv)?
    – user15871
    Commented el 14 nov. 2017 a las 14:53
  • El * desempaqueta la lista y le pasa a print los elementos como argumentos separados. print("Hola", "Mundo") es equivalente a print(*["Hola", "Mundo"]). Esto funciona con cualquier función: recursospython.com/guias-y-manuales/argumentos-args-kwargs. En cuanto a lo segundo, la diferencia es que si haces print(archivos_csv) se imprime la ruta completa, mientras que como se hace en la respuesta solo imprime los nombres. Es decir ["home/documentos/csv/uno.cs", "home/documentos/csv/dos.csv"] vs ["uno.csv", "dos.csv"] por ejemplo.
    – FJSevilla
    Commented el 14 nov. 2017 a las 15:41
  • Genial, gracias por la explicación.
    – user15871
    Commented el 15 nov. 2017 a las 11:16

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.