1

Como ustedes sabrán la consola de windows (cmd.exe) y también PowerShell pueden presentar verdaderos dolores de cabeza con la codificación del texto en idiomas que requieren caracteres más allá de ASCII, como el español. En diversos trabajos con Procesamiento de Lenguaje Natural en Python desde la consola de windows he tenido que aprender muchos trucos y secretos para lograr el principio básico del trabajo con "caracteres extraños" en python:

Decodificar (pasar a UNICODE) lo antes posible, Codificar (pasar a UTF-8, cp65001, etc.) al final de todo.

Mi duda es esta: Cuando un script python recibe un argumento desde la consola de windows (cmd.exe), por ejemplo:

$ python somescript.py "Una cadena de texto con caracteres especiales: áéíóúü"

¿Cómo podemos decodificar (UNICODE) correctamente la cadena de texto recibida?

Por último tengo la misma duda para PowerShell. ¿Es igual?

Recuerden que el contexto es Windows 7. ¿Es posible?

Muchas gracias de antemano por compartir sus conocimientos.

1 respuesta 1

0

Primero lo que tal vez ya sabías:

No voy a listar todos los problemas básicos que aparentemente conoces. Incluyo aquí los "no tan básicos" para aquellos interesados que pasen por aquí.

  1. Algunos errores menores se pueden resolver con la letra correcta en la consola (esto es lo más obvio).

  2. El problema se resuelve en Python 3+ usando la codificación cp65001 en la consola de windows (obvio también para los iniciados).

  3. Hay un conocido bug de windows vs. python 2.7 que no parece que se resolverá nunca. Se puede generar un alias (pero no será suficiente):

    import codecs
    codecs.register(lambda name: codecs.lookup('utf-8') if name == 'cp65001' else None)
    
  4. También es bueno saber esto

Ahora veamos una posibilidad interesante

  1. Existe una opción en python puro que intenta resolver la mayoría de los problemas entrada/salida de codificación, incluso los sys.args. Como indican en la documentación:

De forma similar a la entrada de sys.stdin, los argumentos en sys.argv también son bytes en Python 2 y los originales pueden no ser reconstruibles. Para superar esto, agregamos el módulo unicode_argv. La función unicode_argv.get_unicode_argv devuelve la versión Unicode de sys.argv obtenida por las funciones WinAPI GetCommandLineW y CommandLineToArgvW. La función unicode_argv.enable hace un monkeypatch a sys.argv con los argumentos Unicode.

Se trata de una especie de receta mágica que si consigues dosificar suficientemente todos los ingredientes, funciona.

1
  • Voy a probar el win-unicode-console y si me funciona daré su respuesta por buena. Muchas gracias.
    – Sanxofon
    el 17 oct. 2017 a las 0:02

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.