2

Tengo este código (lo resumiré):

for dirpath, dirnames, filenames in os.walk("F:"):
    for filename in filenames:
        if ".pdf" in filename.lower():
            ruta = os.path.join(dirpath, filename)
            claves = countWords(ruta)

El objetivo es que si el archivo es un pdf lo envío a una función externa para que lo abra y siga unas instrucciones, el problema es que la ruta que se envía es incorrecta y por tanto dicha función me tira error diciendo que el archivo no existe, este es el nombre original:

AT&T.pdf

Este es el nombre que se envía (de la variable filename):

AT&T.pdf

Si se fijan bien el símbolo "&" cambia por este otro "&", en realidad no hay espacios en dicho nombre es solo que el "&" es muy "ancha" por así decirlo.

Ya pues cambiar el nombre del pdf (que si lo hago funciona) no es una opción ya que debo examinar miles de archivos y eso pues no es viable.

Por último tengo otra duda ¿cómo puedo hacer que os.walk luego de terminar con el directorio "F:" pase al directorio "D:"? ¿la única opción es usar un for más?

0

1 respuesta 1

2

Actualización Mi respuesta inicial, que he dejado tal cual a continuación, era válida para OSX y Linux, pero resulta ser incorrecta para el caso Windows. Véase la actualización al final para este caso.

En el código que has pegado en la pregunta no hay nada que debiera cambiar la codificación del nombre de fichero. Supongo que algo más hay que no estás mostrando, quizás en la función countWords().

Te explico, suponiendo que usas Python2.7 como corresponde con la etiqueta que has puesto a la pregunta (en python3 la historia sería otra, aunque con igual conclusión).

Python2.7 no tiene soporte "automático" para Unicode. Para la función os.walk() el nombre de fichero es una secuencia de bytes, sin significado a priori. Esos bytes dependen de la codificación usada por el sistema de archivos. En Windows es utf-8, por lo que el carácter &, cuyo código unicode es el U+ff06, se codificará mediante la secuencia de bytes ef bc 86. Por tanto, si imprimes por pantalla la variable que contiene el nombre en cuestión, por ejemplo como parte de este bucle:

for dirpath, dirnames, filenames in os.walk("F:"):
    for filename in filenames:
        if ".pdf" in filename.lower():
           print(repr(filename))

Deberías ver 'AT\xef\xbc\x86T.pdf'

En algún momento posterior tu código probablemente hace una conversión a Unicode de esa secuencia de bytes. Por ejemplo con una instrucción como la siguiente:

nombre = unicode(nombre_raro, "utf8")

Esto simplemente interpreta la secuencia de bytes ef bc 86 como el caracter unicode U+ff06, pero no debería convertirlo en un & normal. Es decir, si ahora haces un print(repr(nombre)) verás:

u'AT\uff06T.pdf'

La u inicial indica que está ya en su representación Unicode interna, y que no depende ya de ningún encoding como utf8 u otros. Es en esta representación interna en la que podrías aplicarle .lower() para pasarlo a minúsculas, pues siendo unicode sabe que caracteres como Ñ en minúsculas serían ñ (mientras que cuando está en su representación original utf8 sólo aplicaría la conversión a los caracteres ASCII). De todas formas esto no influye en nuestro caso particular.

Si ahora intentas abrir ese fichero con open(nombre), en principio no debería haber problema. El nombre está en Unicode, y python lo convertirá por debajo al encoding usado por el sistema de archivos, que será UTF8, y ese debería ser abierto por Windows sin problemas.

Por tanto, en todas estas transformaciones nunca se ha cambiado el ampersand ancho por un ampersand normal.

La única forma en que esto puede ocurrir es que se haga en algún momento una normalización NFKC o NKFD, que convierte caracteres equivalentes a una única forma. Esto se lo hay que pedir explícitamente a python, por ejemplo así:

import unicodedata
nombre_normalizado = unicodedata.normalize("NFKC", nombre)
print(repr(nombre_normalizado))

Ahora sí, verás:

u'AT&T.pdf'

La cadena sigue estando en Unicode, pero el ampersand ancho ha sido cambiado por un ampersando normal.

Por tanto sólo cabe suponer que alguna parte de tu código (o alguna función que llamas desde él) ha hecho esta conversión.

Actualización

La respuesta anterior la había probado en OSX, con python2.7. En Windows no tenía instalado esta versión del intérprete, pero acabo de instalar una y de probar el mismo experimento antes descrito (imprimir los nombres de fichero). Para mi sorpresa, cuando le tocó el turno al fichero llamado "AT&T.pdf" mostró "AT&T.pdf", en lugar de "AT\xef\xbc\x86T.pdf" que era lo que esperaba. Por tanto el nombre de fichero había sido convertido de algún modo por la función os.walk().

Leyendo con detall el Unicode Howto de la documentación de Python encuentro el párrafo siguiente:

os.listdir(), which returns filenames, raises an issue: should it return the Unicode version of filenames, or should it return 8-bit strings containing the encoded versions? os.listdir() will do both, depending on whether you provided the directory path as an 8-bit string or a Unicode string.

Aunque esta documentación se está refiriendo a os.listdir() supuse (y después verifiqué que así era) que podría aplicarse también a os.walk(). Lo que dice es que el parámetro que le pases ("F:" en tu ejemplo) se tiene en cuenta a la hora de generar nombres de fichero en unicode o en str.

Ya que le estábamos pasando una cadena "normal", los nombres de fichero obtenidos se nos daban también como cadenas "normales" (no Unicode), usando el encoding que usara el sistema de archivos. En OSX eso resultaba en UTF-8, pero en windows, por lo que se ve, primero normaliza el nombre de fichero Unicode usando NFKC y luego lo codifica a bytes (usando, creo, cp1252). El resultado es que el nombre de fichero que vemos al final ya tiene el ampersand ancho cambiado por uno normal.

Si en cambio le pasamos una cadena Unicode, es decir u"F:" en lugar de "F:", entonces los nombres de fichero retornados vienen en Unicode, y ya no se hace esa conversión automática.

Resumiendo: os.walk(u"F:") debería resolver el problema.

4
  • Dentro de la función countWords() puse un print y no pasa de esta línea: data = file(filename,"rb").read() Es ahí cuando ocurre el error y me dice que el archivo "tal" no existe. De avisarte que el "filename" es la ruta completa al archivo y que antes de enviar la variable "ruta" a la función el ampersand si cambia, como dices que os.walk no modifica el nombre me imagino que ese cambio solo ocurre al imprimirse en la consola de ser así entonces no tengo idea de cual podría ser el problema. Uso Python 2.7.
    – talC
    Commented el 1 dic. 2018 a las 19:46
  • Tienes razón. He probado en windows y la cosa no funciona exactamente como en OSX donde había probado antes. Respuesta actualizada y solución hallada.
    – abulafia
    Commented el 1 dic. 2018 a las 20:45
  • Muchísimas gracias me funcionó, curiosamente yo probé con: r"F:" y pues al ver que no lo solucionaba ignoré la u creyendo que el resultado sería igual jaja creo que ya es hora de pasarse a la versión 3 para no tener esta clase de problemas.
    – talC
    Commented el 1 dic. 2018 a las 21:30
  • @talC Me alegro de haberte resuelto el problema. Es bien raro que te aparezca ese carácter en un nombre de fichero, pero sospecho que otros caracteres más normales (tildes por ejemplo) también podrían haberte dado problemas. Sí, es hora de cambiarse a python3, pues el propio creador del lenguaje quiere retirar python2. Tiene los días contados nunca mejor dicho
    – abulafia
    Commented el 1 dic. 2018 a las 21:34

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.