1

Usando Python, quisiera aprender cómo combinar 1000 CSV "files" q están en un "folder."

Son archivos muy grandes.

El siguiente código lo hace con R.

Estoy usando en R fread porque tengo entendido q es la función más rápida en R. Cuál es la más rápida función en Python para este propósito?

Publico en la imagen un ejemplo con 3 CSV, pero son 1000 ó incluso talvez más archivos. Talvez no haya una columna común.

De antemano, muchas gracias por su ayuda!

library(tidyverse)
library(data.table)

myFolder <- getwd()

data_join <- list.files(path = myFolder, 
                        pattern = "*.csv", full.names = TRUE) %>% 
                        lapply(fread) %>% 
                        bind_rows %>% as.data.frame
data_join

Dataframes Iniciales

Dataframe Final

Mi código en Python, logra el objetivo. Pero, si los archivos son muy grandes, cuál es el método más rápido en Python? Es éste?

import os
import pandas as pd
import glob

path = os.getcwd()
csv_files = glob.glob(os.path.join(path, "*.csv"))
extension = 'csv'
all_filenames = [i for i in glob.glob('*.{}'.format(extension))]#combine all files in the list
combined_csv = pd.concat([pd.read_csv(f) for f in all_filenames ])
#export to csv
combined_csv.to_csv( "combined.csv", index=False, encoding='utf-8-sig')

"Mi código", en Python, está basado en: FreeCodeCamp.org, "How to combine multiple CSV files with 8 lines of code" (Ekapope Viriyakovithya); "Get and change the current working directory in Python" (https://note.nkmk.me/en/python-os-getcwd-chdir/); y "¿cómo leer todos los archivos CSV en una carpeta con Pandas?" de (https://es.acervolima.com/como-leer-todos-los-archivos-csv-en-una-carpeta-en-pandas/).

8
  • 1
    Podrías agregar lo que has intentado hasta ahora por favor? Preguntas donde no se demuestra esfuerzo por parte del OP por resolver su propia duda no son bien recibidas. Por favor lee: es.meta.stackoverflow.com/questions/2868/…
    – Dante S.
    Commented el 20 may. 2022 a las 23:04
  • OK. Gracias por la sugerencia!
    – Beginner
    Commented el 20 may. 2022 a las 23:08
  • 1
    Podrías usar la librería csv junto a la función built-in open para lograr lo que buscas. Igual, creo que al preguntar por la mejor función de Python podrías estar pidiendo una opinion, y eso no encaja con el formato del sitio.
    – Dante S.
    Commented el 20 may. 2022 a las 23:15
  • 1
    Yo haría exactamente lo mismo que tienes escrito y me parece que lo estás haciendo de una manera bastante eficiente. No veo cómo mejorarlo más. ¿No es lo suficientemente rápido para ti?
    – Jaime
    Commented el 21 may. 2022 a las 2:18
  • 1
    Si quieres comprobar el tiempo de ejecución puedes hacerlo con el módulo time (Revisa esta pregunta de StackOverflow en inglés). Tal como comento Dante, también con la librería csv podrías lograrlo. Podrías medir el tiempo de ejecución de ambas librerías (pandas y csv) Commented el 21 may. 2022 a las 3:56

1 respuesta 1

1

Ofrezco está solución con un consumo mínimo de memoria. Toma una cantidad ilimitada de archivos de tamaño ilimitado y genera un archivo de salida consolidado. Mantiene sólo un archivo de entrada abierto a la vez y sólo necesita memoria para mantener una línea de salida completa.

Mapear columnas a posiciones

Primero recorremos todos los archivos .csv extrayendo los headers. A cada nombre de columna distinto le asignamos un número de secuencia en orden creciente. El número me dice en que posición de la línea de salida va el dato en esa columna.

Esta información lo consolidamos en un diccionario retornado por la función header_to_dicc

def header_to_dicc(archivos):
    """ Recibe una lista de archivos csv, retorna
        un diccionario
        key: nombre_columna,
        value: secuencia (0, 1, ... n)
    """
    secuencia = 0
    dicc = {}
    for archivo in archivos:
        with open(archivo, "r") as data:
            contenido = csv.DictReader(data)
            for nombre in contenido.fieldnames:
                if nombre not in dicc:
                    dicc[nombre] = secuencia
                    secuencia += 1
    return dicc

Tomando como ejemplo los archivos que proporcionas, el diccionario sería:

{'x1': 0, ' x2': 1, ' c3': 2, 'y1': 3, ' y2': 4, ' x3': 5, 'z1': 6, ' z2': 7}

Los tres archivos tienen una columna x3, y los datos de esa columna (sin importar el archivo), irán a dar a la sexta columna en la salida.

Generar salida

Por cada archivo .csv agregamos líneas en el archivo de salida.

Primero leemos el header para obtener los nombres de las columnas de ese archivo en particular. Usando el diccionario transformamos los nombres en los índices que nos dicen donde poner los datos en la línea de salida.

Por cada línea de entrada, tomamos el contenido de la columna (celda) y lo copiamos a la línea de salida en formación.

def copiar_archivo(entrada, salida, dicc):
    """ Agrega el contenido del archivo de entrada a la cola de la salida """
    with open(archivo, "r") as data:
        contenido = csv.reader(data)
        header = next(contenido)
        indices = [dicc[nombre.strip()] for nombre in header]
        salida = ['NA'] * len(dicc)
        for datos in contenido:
            for pos, val in zip(indices, datos):
                salida[pos] = val
            resultado.writelines([','.join(salida), "\n"])

Demo

Con estas dos funciones sólo falta combinarlas para llegar al resultado final:

lista = ["data1.csv", "data2.csv", "data3.csv"]
dicc = header_to_dicc(lista)

with open("salida.csv", "w") as resultado:
    header = ','.join(dicc.keys())
    resultado.writelines([header, "\n"])
    for archivo in lista:
        copiar_archivo(archivo, resultado, dicc)

produce el archivo de salida:

x1,x2,c3,y1,y2,x3,z1,z2
1,5,a,NA,NA,NA,NA,NA
2,1,y,NA,NA,NA,NA,NA
3,4,g,NA,NA,NA,NA,NA
6,2,y,NA,NA,NA,NA,NA
NA,NA,NA,4,3,a,NA,NA
NA,NA,NA,5,3,x,NA,NA
NA,NA,NA,6,4,a,NA,NA
NA,NA,NA,7,1,x,NA,NA
NA,NA,NA,8,2,a,NA,NA
NA,NA,NA,9,9,x,NA,NA
NA,NA,NA,NA,NA,k,5,3
NA,NA,NA,NA,NA,b,6,2
5
  • Una idea genial! Muchas gracias! Mañana lo voy a probar! Justamente hoy intenté con la solución de la pregunta y el programa se cayó. Aparentemente por problemas de memoria! Es decir aparentemente trabaja para programas de tamaño pequeño.
    – Beginner
    Commented el 24 may. 2022 a las 4:11
  • Su programa funciona muy bien!! Pero parece que se cae cuando encuentra un archivo CSV vacío. En esos casos produce Type Error: "NoneType" object is not iterable. Cómo se podría evitar ese error?
    – Beginner
    Commented el 24 may. 2022 a las 22:14
  • El error se produce en la función header_to_dicc
    – Beginner
    Commented el 24 may. 2022 a las 22:17
  • En la línea: for nombre in contenido.fieldnames:
    – Beginner
    Commented el 24 may. 2022 a las 22:17
  • Muchísimas gracias por su fantástica respuesta!!!
    – Beginner
    Commented el 24 may. 2022 a las 22:26

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.