Actualización Mi respuesta inicial, que he dejado tal cual a continuación, era válida para OSX y Linux, pero resulta ser incorrecta para el caso Windows. Véase la actualización al final para este caso.
En el código que has pegado en la pregunta no hay nada que debiera cambiar la codificación del nombre de fichero. Supongo que algo más hay que no estás mostrando, quizás en la función countWords()
.
Te explico, suponiendo que usas Python2.7 como corresponde con la etiqueta que has puesto a la pregunta (en python3 la historia sería otra, aunque con igual conclusión).
Python2.7 no tiene soporte "automático" para Unicode. Para la función os.walk()
el nombre de fichero es una secuencia de bytes, sin significado a priori. Esos bytes dependen de la codificación usada por el sistema de archivos. En Windows es utf-8, por lo que el carácter &, cuyo código unicode es el U+ff06, se codificará mediante la secuencia de bytes ef bc 86
. Por tanto, si imprimes por pantalla la variable que contiene el nombre en cuestión, por ejemplo como parte de este bucle:
for dirpath, dirnames, filenames in os.walk("F:"):
for filename in filenames:
if ".pdf" in filename.lower():
print(repr(filename))
Deberías ver 'AT\xef\xbc\x86T.pdf'
En algún momento posterior tu código probablemente hace una conversión a Unicode de esa secuencia de bytes. Por ejemplo con una instrucción como la siguiente:
nombre = unicode(nombre_raro, "utf8")
Esto simplemente interpreta la secuencia de bytes ef bc 86
como el caracter unicode U+ff06, pero no debería convertirlo en un &
normal. Es decir, si ahora haces un print(repr(nombre))
verás:
u'AT\uff06T.pdf'
La u
inicial indica que está ya en su representación Unicode interna, y que no depende ya de ningún encoding como utf8 u otros. Es en esta representación interna en la que podrías aplicarle .lower()
para pasarlo a minúsculas, pues siendo unicode sabe que caracteres como Ñ
en minúsculas serían ñ
(mientras que cuando está en su representación original utf8 sólo aplicaría la conversión a los caracteres ASCII). De todas formas esto no influye en nuestro caso particular.
Si ahora intentas abrir ese fichero con open(nombre)
, en principio no debería haber problema. El nombre está en Unicode, y python lo convertirá por debajo al encoding usado por el sistema de archivos, que será UTF8, y ese debería ser abierto por Windows sin problemas.
Por tanto, en todas estas transformaciones nunca se ha cambiado el ampersand ancho por un ampersand normal.
La única forma en que esto puede ocurrir es que se haga en algún momento una normalización NFKC o NKFD, que convierte caracteres equivalentes a una única forma. Esto se lo hay que pedir explícitamente a python, por ejemplo así:
import unicodedata
nombre_normalizado = unicodedata.normalize("NFKC", nombre)
print(repr(nombre_normalizado))
Ahora sí, verás:
u'AT&T.pdf'
La cadena sigue estando en Unicode, pero el ampersand ancho ha sido cambiado por un ampersando normal.
Por tanto sólo cabe suponer que alguna parte de tu código (o alguna función que llamas desde él) ha hecho esta conversión.
Actualización
La respuesta anterior la había probado en OSX, con python2.7. En Windows no tenía instalado esta versión del intérprete, pero acabo de instalar una y de probar el mismo experimento antes descrito (imprimir los nombres de fichero). Para mi sorpresa, cuando le tocó el turno al fichero llamado "AT&T.pdf"
mostró "AT&T.pdf"
, en lugar de "AT\xef\xbc\x86T.pdf"
que era lo que esperaba. Por tanto el nombre de fichero había sido convertido de algún modo por la función os.walk()
.
Leyendo con detall el Unicode Howto de la documentación de Python encuentro el párrafo siguiente:
os.listdir(), which returns filenames, raises an issue: should it return the Unicode version of filenames, or should it return 8-bit strings containing the encoded versions? os.listdir() will do both, depending on whether you provided the directory path as an 8-bit string or a Unicode string.
Aunque esta documentación se está refiriendo a os.listdir()
supuse (y después verifiqué que así era) que podría aplicarse también a os.walk()
. Lo que dice es que el parámetro que le pases ("F:"
en tu ejemplo) se tiene en cuenta a la hora de generar nombres de fichero en unicode o en str.
Ya que le estábamos pasando una cadena "normal", los nombres de fichero obtenidos se nos daban también como cadenas "normales" (no Unicode), usando el encoding que usara el sistema de archivos. En OSX eso resultaba en UTF-8, pero en windows, por lo que se ve, primero normaliza el nombre de fichero Unicode usando NFKC y luego lo codifica a bytes (usando, creo, cp1252). El resultado es que el nombre de fichero que vemos al final ya tiene el ampersand ancho cambiado por uno normal.
Si en cambio le pasamos una cadena Unicode, es decir u"F:"
en lugar de "F:"
, entonces los nombres de fichero retornados vienen en Unicode, y ya no se hace esa conversión automática.
Resumiendo: os.walk(u"F:")
debería resolver el problema.