0

Tengo una carpeta que a su vez contiene 2,331 subcarpetas cada una con 8 archivos CSV de aproximadamente 20 KB (en total 18,648 archivos y 325 MB) todos con el mismo layout. Están distribuidos de la siguiente manera:

Incidencia
|  file1.csv
|  file2.csv
|  file3.csv
|  img1.jpge
└─── Ábala
|    |  2015.csv
|    |  2016.csv
|    |  2017.csv
|    |  2018.csv
|    |  2019.csv
|    |  2020.csv
|    |  2021.csv
|    └─ 2022.csv
| .
| .
| .
└─── Zumpango
     |  2015.csv
     |  2016.csv
     |  2017.csv
     |  2018.csv
     |  2019.csv
     |  2020.csv
     |  2021.csv
     └─ 2022.csv

Para poder leerlos todos los archivos los metí en una lista de la siguiente manera:

nombre_carpeta = 'C:/Notebooks/Modulo-4'

all_paths = []

contenido = os.listdir(nombre_carpeta)
for elemento in contenido:
    ruta_completa = os.path.join(nombre_carpeta, elemento)
    if elemento.endswith('3.csv'):
        pass
    elif elemento.endswith('.csv'):
        print(f'- {elemento}.')
        all_paths.append(ruta_completa)

nombre_carpeta = 'C:/Notebooks/Modulo-4/Incidencia'

for raiz, directorios, archivos in os.walk(nombre_carpeta, topdown=False):
    for nombre in archivos:
        all_paths.append(os.path.join(raiz, nombre))
    for nombre in directorios:
        all_paths.append(os.path.join(raiz, nombre))
        
all_paths = [remp.replace('\\', '/') for remp in all_paths]

Una vez creada la lista "all_paths", se ve de la siguiente manera:

['C:/Notebooks/Modulo-4/file1.csv',
 'C:/Notebooks/Modulo-4/file2.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2015.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2016.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2017.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2018.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2019.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2020.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2021.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Abalá/2022.csv',
 ...
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2015.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2016.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2017.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2018.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2019.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2020.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2021.csv',
 'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2022.csv']

Con ello tengo que hacer 3 DataFrames:

  • poblacion_a = file1.csv
  • poblacion_b = file2.csv
  • data = los 18,648 CSVs en el directorio "Incidencia"

Por lo que lo estaba haciendo de la siguiente manera:

data1 = []
poblacion_a1 = []
poblacion_b1 = []

for path in all_paths:
    if path.endswith('1.csv'): # Solo lee un archivo csv de 447,105 renglones (28.30 MB)
        poblacion_a1.append(pd.read_csv(path, encoding='latin-1'))
        poblacion_a = pd.concat(poblacion_a1)
        del(poblacion_a1)
    elif path.endswith('2.csv'): # Solo lee un archivo csv de 653,633 renglones (47 MB)
        poblacion_b1.append(pd.read_csv(path, encoding='latin-1'))
        poblacion_b = pd.concat(poblacion_b1)
        del(poblacion_b1)
    else: # Leera 18,648 archivos csv de distintas carptetas (325 MB)
        data1.append(pd.read_csv(path, encoding='utf-8'))

data = pd.concat(data1)

Pero solo crea el DataFrame "poblacion_a" y "poblacion_b". Cuando llega al else:

data1.append(pd.read_csv(path, encoding='utf-8'))

Me sale el error:

PermissionError: [Errno 13] Permission denied: 'C:/Notebooks/Modulo-4/Incidencia/Abalá'

Ya verifique y no tengo ningún archivo abierto, tengo permiso para crear, borrar, modificar la carpeta y la ruta si existe.

Agradecería mucho su ayuda.

4
  • Intenta hacer desde la linea de comandos, dentro de la carpeta incidencias: type *.csv >> salida
    – Francisco
    Commented el 24 nov. 2022 a las 7:33
  • Intenta hacer desde la linea de comandos, dentro de la carpeta incidencias: type A*.csv >> salida .Debería generarte un fichero salida con la concatenación de varios csv
    – Francisco
    Commented el 24 nov. 2022 a las 7:40
  • Puede que te de problemas incluso por el acento de Abalá
    – Francisco
    Commented el 24 nov. 2022 a las 7:48
  • Creo que el problema es que a pd.read_csv() le estás pasando el nombre de una carpeta en lugar del nombre de un csv
    – abulafia
    Commented el 24 nov. 2022 a las 10:12

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.