8

Necesito acceder a un conjunto de ficheros.

  1. ¿Cómo podría recorrer el contenido de un fichero?

  2. ¿Es posible filtrar los ficheros que quiero obtener? Por ejemplo solo los .jpg

  3. ¿Y en el caso de que quiera todos los ficheros de las distintas subcarpetas? Es decir, todo lo que contiene todas las subcarpetas "Clase_X":

imagenes
|    
|
|-------- train
|          |
|          |----- Clase_1
|          |        |
|          |        imagen_1.jpg
|          |        imagen_2.png
|          |        datos.csv
|          |        ... etc
|          |
|          |----- Clase_2
|          |        |
|          |        imagen_1_1.jpg
|          |        imagen_2_1.png
|          |        datos.csv
|          |        ... etc
|
|
|-------- test
|          |
|          |----- Clase_1
|          |        |
|          |        imagen_1_t.jpg
|          |        imagen_2_t.png
|          |        datos.csv
|          |        ... etc
|          |
|          |----- Clase_2
|          |        |
|          |        imagen_1_2_t.jpg
|          |        imagen_2_2_t.png
|          |        datos.csv
|          |        ... etc
4
  • Esto simplemente es para hacer esta pregunta, una repuesta canónica, ya que es una pregunta que suele salir habitualmente en la etiqueta de Python. La he puesto como wiki, para que se invite a la comunidad a mejorarla y sirva como referencia! Commented el 17 oct. 2020 a las 10:43
  • 1
    ¿No es lo mismo que ¿Cómo listar todos los archivos de una carpeta usando Python??
    – Pollo
    Commented el 17 oct. 2020 a las 19:23
  • 1
    Pues sí es casi igual, y de hecho también muy bien respondida, se ve que al no buscarla con la palabra clave "listar" el sistema no me la mostró. Creo que muy a mí pesar (por el esfuerzo) voy a tener que marcar la pregunta como duplicada, ya que la respuesta que adjuntas es excelente, muchas gracias por el apunte. Commented el 17 oct. 2020 a las 19:50
  • quizás copiar tu respuesta a esa pregunta, para unir 2 muy buenas formas de explicarlo
    – Pollo
    Commented el 17 oct. 2020 a las 19:52

2 respuestas 2

7

El módulo más importante para acceder a archivos y carpetas desdes Python, es el módulo os. Este módulo viene por defecto cuando instalamos Python (módulos built-int). También es muy usado el módulo glob. Voy a pasar a responder las preguntas usando el ejemplo de la pregunta.

1. ¿Cómo recorrer lo que hay en una carpeta?

Podemos hacerlo usando el módulo os y su función listdir a esta función le pasamos el path de la carpeta que queremos tener sus archivos. Por ejemplo pongamos que queremos acceder a la carpeta Clase_1 perteneciente a train:

import os

print(os.listdir("<PATH>/imagenes/train/Clase_1"))

Output: ["imagen_1.jpg", "imagen_2.png", "datos.csv", ...]

También podemos hacer lo mismo con glob, en este caso le pedimos mediante el caracter especial * que nos incluya todo lo que haya en la carpeta

import glob

glob.glob("<PATH>/(imagenes/train/clase_1/*")

Output: ["imagen_1.jpg", "imagen_2.png", "datos.csv", ...]

2. ¿Cómo filtrar los archivos?

Simplemente podemos crear un bucle for con un condicional if para filtrar los archivos que queramos, por ejemplo, si solo queremos los .png:

import os

print([file for file in os.listdir("<PATH>/imagenes/train/clase_1") if '.png' in file])

Output: ["imagen_2.png", ...]

También se podría hjacer con glob y más sencillo, ya que esta función implementa el bucle for y el condicional por nosotros:

import glob

print(glob.glob("<PATH>/imagenes/train/clase_1/*.png"))

Output: ["imagen_2.png", ...]

Por último para esta respuesta, dejo respectivamente como se haría con os y con glob si quisieramos obtener más de un tipo de archivo, por ejemplo: .png y .jpg:

import os

print([file for file in os.listdir("<PATH>/imagenes/train/clase_1") if '.png' in file or '.jpg' in file])
import glob
tipos = ('*.jpg', '*.png')

print([glob.glob(f"<PATH>/imagenes/test/clase_1/{tip}") for tip in tipos])

3. ¿Cómo obtener distintas subcarpetas y ficheros?

En este caso, habría que utilizar os.walk(), esta función, se le pasa el path de un directorio y nos da todo lo que contiene por niveles, esto quiero decir, que esta función nos devuelve una tupla de tuplas, que contiene los niveles accedidos, de tal forma que podemos desempaquetar en el bucle for en el nivel que queramos, en este ejemplo, las imágenes:

import os

imagenes = [imagenes for directorio, subdirectorio, imagenes in os.walk("<PATH>/imagenes")]
print(imagenes)

Output

[[],
 [],
 ['imagen_1.jpg', 'imagen_1.png', 'datos.csv', ...],
 ['imagen_1_1.jpg', 'imagen_2_1.png', 'datos.csv', ...],
 [],
 ['imagen_1_t.jpg', 'imagen_1_t.png', 'datos.csv', ...],
 ['imagen_1_2_t.jpg', 'imagen_2_2_t.jpg', 'datos.csv', ...]]

Y podríamos aplanar esta lista de listas, de multiples formas para conseguir el resultado final obtenido,Aquí yo me creo una función lambda para ello:

#Creo la función lambda
aplanar_lista = lambda lista: [elemento for sublista in lista for elemento in sublista]

#La aplico
print(aplanar_lista(imagenes))

Output:

['imagen_1.jpg', 'imagen_1.png', 'datos.csv', ..., 'imagen_1_1.jpg', 'imagen_2_1.png', 'datos.csv', ..., 'imagen_1_t.jpg', 'imagen_1_t.png', 'datos.csv', ..., 'imagen_1_2_t.jpg', 'imagen_2_2_t.jpg', 'datos.csv', ...]
3

1. ¿Cómo recorrer?

Te propongo que tanto con el módulo glob, como con el método glob del método Path del módulo pathlib.

Primer caso:

import glob

for archivo in glob.glob("imagenes/**", recursive=True):
    print(archivo)

Pero esto funciona versiones >= a 3.5. En otro caso puedes sólo especificar los subdirectorios necesarios:

import glob

for archivo in glob.glob("imagenes/*/*/*"):
    print(archivo)

En el segundo caso:

from pathlib import Path

for archivo in Path('./imagenes').glob("**/*"):
    print(archivo)

Resultando en:

imagenes/test
imagenes/train
imagenes/test/clase1
imagenes/test/clase2
imagenes/test/clase1/datos.csv
imagenes/test/clase1/imagen_1.jpg
imagenes/test/clase1/imagen_2.png
...

2. ¿Es posible filtrar los ficheros que quiero obtener? Por ejemplo solo los .jpg

Mi propuesta es utilizar lo que mencioné anteriormente, pero resaltando el hecho de que un nombre de archivo jpg (confiando en que la extensión corresponde al tipo de archivo) terminará con la cadena ".jpg".

En ese caso:

from pathlib import Path

jpg_list = [ archivo.with_suffix(".jpg").as_posix() \
         for archivo in Path('./imagenes').glob("**/*")]

print(jpg_list)

Resultando en la lista de cadenas:

['imagenes/test.jpg', 'imagenes/train.jpg', 'imagenes/test/clase1.jpg', 
'imagenes/test/clase2.jpg', 'imagenes/test/clase1/datos.jpg', 
'imagenes/test/clase1/imagen_1.jpg', 'imagenes/test/clase1/imagen_2.jpg', 
'imagenes/test/clase2/datos.jpg', 'imagenes/test/clase2/imagen_1.jpg', 
'imagenes/test/clase2/imagen_2.jpg', 'imagenes/train/clase1.jpg', 
'imagenes/train/clase2.jpg', 'imagenes/train/clase1/datos.jpg', 
'imagenes/train/clase1/imagen_1.jpg', 'imagenes/train/clase1/imagen_2.jpg', 
'imagenes/train/clase2/datos.jpg', 'imagenes/train/clase2/imagen_1.jpg', 
'imagenes/train/clase2/imagen_2.jpg']

3. ¿Y en el caso de que quiera todos los ficheros de las distintas subcarpetas?

Entonces simplemente quitamos los filtros sencillos que pusimos:

from pathlib import Path

full_list = [ archivo.as_posix() for archivo in Path('./imagenes/').glob('*/*/*')]
print(full_list)

Resultando en la lista de cadenas:

['imagenes/test/clase1/datos.csv', 'imagenes/test/clase1/imagen_1.jpg', 
'imagenes/test/clase1/imagen_2.png', 'imagenes/test/clase2/datos.csv', 
'imagenes/test/clase2/imagen_1.jpg', 'imagenes/test/clase2/imagen_2.png', 
'imagenes/train/clase1/datos.csv', 'imagenes/train/clase1/imagen_1.jpg', 
'imagenes/train/clase1/imagen_2.png', 'imagenes/train/clase2/datos.csv', 
'imagenes/train/clase2/imagen_1.jpg', 'imagenes/train/clase2/imagen_2.png']

Nota como juego con el patrón que paso como parámetro en el método glob.

2
  • 1
    Buenas @Cuauhtli , has públicado la respuesta dos veces. Muy buena respuesta agregando también el módulo Pathlib sin duda merece un voto positivo! Commented el 17 oct. 2020 a las 18:53
  • 1
    Muchas gracias por avisar. Me pasa frecuentemente.
    – Cuauhtli
    Commented el 17 oct. 2020 a las 19:07

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.