Usando Python, quisiera aprender cómo combinar 1000 CSV "files" q están en un "folder."
Son archivos muy grandes.
El siguiente código lo hace con R.
Estoy usando en R fread porque tengo entendido q es la función más rápida en R. Cuál es la más rápida función en Python para este propósito?
Publico en la imagen un ejemplo con 3 CSV, pero son 1000 ó incluso talvez más archivos. Talvez no haya una columna común.
De antemano, muchas gracias por su ayuda!
library(tidyverse)
library(data.table)
myFolder <- getwd()
data_join <- list.files(path = myFolder,
pattern = "*.csv", full.names = TRUE) %>%
lapply(fread) %>%
bind_rows %>% as.data.frame
data_join
Mi código en Python, logra el objetivo. Pero, si los archivos son muy grandes, cuál es el método más rápido en Python? Es éste?
import os
import pandas as pd
import glob
path = os.getcwd()
csv_files = glob.glob(os.path.join(path, "*.csv"))
extension = 'csv'
all_filenames = [i for i in glob.glob('*.{}'.format(extension))]#combine all files in the list
combined_csv = pd.concat([pd.read_csv(f) for f in all_filenames ])
#export to csv
combined_csv.to_csv( "combined.csv", index=False, encoding='utf-8-sig')
"Mi código", en Python, está basado en: FreeCodeCamp.org, "How to combine multiple CSV files with 8 lines of code" (Ekapope Viriyakovithya); "Get and change the current working directory in Python" (https://note.nkmk.me/en/python-os-getcwd-chdir/); y "¿cómo leer todos los archivos CSV en una carpeta con Pandas?" de (https://es.acervolima.com/como-leer-todos-los-archivos-csv-en-una-carpeta-en-pandas/).
time
(Revisa esta pregunta de StackOverflow en inglés). Tal como comento Dante, también con la libreríacsv
podrías lograrlo. Podrías medir el tiempo de ejecución de ambas librerías (pandas
ycsv
)