Tengo una carpeta que a su vez contiene 2,331 subcarpetas cada una con 8 archivos CSV de aproximadamente 20 KB (en total 18,648 archivos y 325 MB) todos con el mismo layout. Están distribuidos de la siguiente manera:
Incidencia
| file1.csv
| file2.csv
| file3.csv
| img1.jpge
└─── Ábala
| | 2015.csv
| | 2016.csv
| | 2017.csv
| | 2018.csv
| | 2019.csv
| | 2020.csv
| | 2021.csv
| └─ 2022.csv
| .
| .
| .
└─── Zumpango
| 2015.csv
| 2016.csv
| 2017.csv
| 2018.csv
| 2019.csv
| 2020.csv
| 2021.csv
└─ 2022.csv
Para poder leerlos todos los archivos los metí en una lista de la siguiente manera:
nombre_carpeta = 'C:/Notebooks/Modulo-4'
all_paths = []
contenido = os.listdir(nombre_carpeta)
for elemento in contenido:
ruta_completa = os.path.join(nombre_carpeta, elemento)
if elemento.endswith('3.csv'):
pass
elif elemento.endswith('.csv'):
print(f'- {elemento}.')
all_paths.append(ruta_completa)
nombre_carpeta = 'C:/Notebooks/Modulo-4/Incidencia'
for raiz, directorios, archivos in os.walk(nombre_carpeta, topdown=False):
for nombre in archivos:
all_paths.append(os.path.join(raiz, nombre))
for nombre in directorios:
all_paths.append(os.path.join(raiz, nombre))
all_paths = [remp.replace('\\', '/') for remp in all_paths]
Una vez creada la lista "all_paths", se ve de la siguiente manera:
['C:/Notebooks/Modulo-4/file1.csv',
'C:/Notebooks/Modulo-4/file2.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2015.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2016.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2017.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2018.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2019.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2020.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2021.csv',
'C:/Notebooks/Modulo-4/Incidencia/Abalá/2022.csv',
...
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2015.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2016.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2017.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2018.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2019.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2020.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2021.csv',
'C:/Notebooks/Modulo-4/Incidencia/Zumpango/2022.csv']
Con ello tengo que hacer 3 DataFrames:
- poblacion_a = file1.csv
- poblacion_b = file2.csv
- data = los 18,648 CSVs en el directorio "Incidencia"
Por lo que lo estaba haciendo de la siguiente manera:
data1 = []
poblacion_a1 = []
poblacion_b1 = []
for path in all_paths:
if path.endswith('1.csv'): # Solo lee un archivo csv de 447,105 renglones (28.30 MB)
poblacion_a1.append(pd.read_csv(path, encoding='latin-1'))
poblacion_a = pd.concat(poblacion_a1)
del(poblacion_a1)
elif path.endswith('2.csv'): # Solo lee un archivo csv de 653,633 renglones (47 MB)
poblacion_b1.append(pd.read_csv(path, encoding='latin-1'))
poblacion_b = pd.concat(poblacion_b1)
del(poblacion_b1)
else: # Leera 18,648 archivos csv de distintas carptetas (325 MB)
data1.append(pd.read_csv(path, encoding='utf-8'))
data = pd.concat(data1)
Pero solo crea el DataFrame "poblacion_a" y "poblacion_b". Cuando llega al else:
data1.append(pd.read_csv(path, encoding='utf-8'))
Me sale el error:
PermissionError: [Errno 13] Permission denied: 'C:/Notebooks/Modulo-4/Incidencia/Abalá'
Ya verifique y no tengo ningún archivo abierto, tengo permiso para crear, borrar, modificar la carpeta y la ruta si existe.
Agradecería mucho su ayuda.
pd.read_csv()
le estás pasando el nombre de una carpeta en lugar del nombre de un csv