2

Tengo un error al abrir un archivo en Python, el error es UnicodeEncodeError.

El programa abre y procesa un archivo yaml creado en Windows, pero ignoro con que codificación se creó. Este problema se presenta tanto en Ubuntu 16.10 como en MacOS Sierra.

El error en específico es:

Traceback (most recent call last):
  File "metas.py", line 75, in <module>
    for meta in metas:
  File "/usr/local/opt/pyenv/versions/metas/lib/python2.7/site-packages/yaml/__init__.py", line 80, in load_all
    loader = Loader(stream)
  File "/usr/local/opt/pyenv/versions/metas/lib/python2.7/site-packages/yaml/loader.py", line 34, in __init__
    Reader.__init__(self, stream)
  File "/usr/local/opt/pyenv/versions/metas/lib/python2.7/site-packages/yaml/reader.py", line 79, in __init__
    self.determine_encoding()
  File "/usr/local/opt/pyenv/versions/metas/lib/python2.7/site-packages/yaml/reader.py", line 135, in determine_encoding
    self.update(1)
  File "/usr/local/opt/pyenv/versions/metas/lib/python2.7/site-packages/yaml/reader.py", line 165, in update
    exc.encoding, exc.reason)
yaml.reader.ReaderError: 'utf8' codec can't decode byte #xf3: invalid continuation byte
  in "<string>", position 273

El archivo metas.py es mas o menos así:

# coding: utf-8

import yaml
from imp import reload

MIEMBRO = 'JMM'
VERSION = 1.0

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

IMPORTS = """# -*- coding: UTF-8 -*-
from django.conf import settings
from django.db import models
from core.models import Pipol, PUESTOS
from django.contrib.contenttypes.models import ContentType
from django import forms

from metas.models import Evidencia
from metas.models import subir_archivo
from metas.forms import FormEvidenciaBase

from django.contrib.auth import get_user_model
User = get_user_model()

"""

class Generador:

    def __init__(self, meta):
        self.miembro = meta['miembro']
        self.id = meta['id']
        self.nombre = meta['nombre']
        self.repeticiones = meta['repeticiones']
        self.campos = meta['campos']

    def get_campos(self):
        return self.campos

    def get_meta(self):
        return '%s%02d' % (self.miembro.upper(), self.id)

    def get_model(self):
        clase = """class %s(Evidencia):""" % self.get_meta()
        for c in self.get_campos():
            for k, v in c.iteritems():
                blank = u'blank=True, null=True' if v[1] else ''
                clase += u"\n    %s = models.FileField('%s', \
upload_to=subir_archivo, %s)" % (k, v[0], blank)
        clase += u"""\n
    class Meta:
        app_label = 'metas'
        """
        return clase

    def get_form(self):
        clase = """class Formulario%s(FormEvidenciaBase):
    class Meta:
        model = %s\n\n""" % (self.get_meta(), self.get_meta())
        return clase


if __name__ == '__main__':
    file = '%s.yml' % MIEMBRO.lower()
    metas = yaml.load_all(open(file).read())
    print IMPORTS
    for meta in metas:
        m = Generador(meta)
        print(m.get_model())
        print(m.get_form())

El archivo yaml es algo así:

miembro: vol
id: 1
nombre: u'3 propuestas OE'
repeticiones: 1
campos:
  - correo: ['Correo Electrónico', false]
  - oficio: ['Oficio de cumplimiento', false]
  - propuestas: ['Propuestas', false]
---
miembro: vol
id: 2
nombre: u'Modelo operativo recepción paquetes'
repeticiones: 1
campos:
  - correo: ['Correo Electrónico', false]
  - oficio: ['Oficio de cumplimiento', false]
  - modelo_operativo: ['modelo operativo', false]
  - acuse_entrega: ['acuse', false]
  - observaciones: ['observaciones', true]

El carácter #xf3 corresponde a la ó.

Por último, los locales de mi equipo son los siguientes:

(metas) javier@toledano:Projects/metas_sdk ‹master*›$ locale
LANG="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_CTYPE="UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_ALL=

EDICIÓN

Cuando hago cat archivo.yml en la consola, esto es lo que se ve:

miembro: VRL
id: 1
nombre: Entrega CECyRD
repeticiones: 12
campos:
  - acta: ['Acta', false]
  - oficio_acta: ['Oficio Acta', false]
  - oficio_entrega: ['Oficio Entrega', false]
  - correo: ['Correo', false]
  - estad▒stico: ['Estad▒stico', false]
5
  • 2
    Puedes intentar abrir el archivo con varios encodings para determinar el encoding usando por ejemplo with open(filename, encoding="latin-1")
    – ixi
    el 23 mar. 2017 a las 4:02
  • @ixi, podrías convertir tu comentario en respuesta, la codificación es, efectivamente, latin1, pero no sé como adaptar mi programita para que use with open...
    – toledano
    el 23 mar. 2017 a las 4:28
  • Modifica el parámetro LANG
    – ixi
    el 23 mar. 2017 a las 4:30
  • Los parámetros relevantes
    – ixi
    el 23 mar. 2017 a las 4:31
  • 1
    O copia el archivo con encoding utf
    – ixi
    el 23 mar. 2017 a las 4:39

1 respuesta 1

2

El comentario de @ixi sobre usar with open(filename, encoding="latin-1") es la forma correcta para Python 3.x. Dado que estas usando Python 2.x esto no es posible dado que la built-in function open no acepta el argumento encoding en Python 2.x:

open(name[, mode[, buffering]])

A diferencia de Python 3.x:

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

Existirian varias posibilidades pero creo que lo más simple es abrirlo en binario y decodificarlo usando la codificación correcta (ISO 8859-1 o Latin-1):

if __name__ == '__main__':
    file = 'archivo.yml'
    with open(file, 'rb') as f:
        metas = yaml.load_all(f.read().decode('Latin-1'))
        for meta in metas:
            m = Generador(meta)
            print(m.get_model())
            print(m.get_form())

Creando un archivo llamado archivo.yml codificado bajo Latin-1 y con el contenido que aportas obtengo la siguiente salida:

class VOL01(Evidencia):
  correo = models.FileField('Correo Electrónico', upload_to=subir_archivo, )
  oficio = models.FileField('Oficio de cumplimiento', upload_to=subir_archivo, )
  propuestas = models.FileField('Propuestas', upload_to=subir_archivo, )

  class Meta:
   app_label = 'metas'

class FormularioVOL01(FormEvidenciaBase):
  class Meta:
   model = VOL01

class VOL02(Evidencia):
  correo = models.FileField('Correo Electrónico', upload_to=subir_archivo, )
  oficio = models.FileField('Oficio de cumplimiento', upload_to=subir_archivo, )
  modelo_operativo = models.FileField('modelo operativo', upload_to=subir_archivo, )
  acuse_entrega = models.FileField('acuse', upload_to=subir_archivo, )
  observaciones = models.FileField('observaciones', upload_to=subir_archivo, blank=True, null=True)

  class Meta:
   app_label = 'metas'

class FormularioVOL02(FormEvidenciaBase):
  class Meta:
   model = VOL02

Creo que es correcto, aunque para ser sincero no he manejado nunca PyYaml. El código funciona bajo Windows 10 y Kubuntu 16.10 con Python 2.7. Para MAcOS no debe haber problema si no lo hay para Ubuntu en principio...

Edición: Como menciono en un comentario de abajo otra solución es hacer una copia del archivo pero codificado con UTF-8. Se puede hacer con python o ya que estamos en un sistema Ubuntu podemos hacer la copia usando la terminal. Situados en el directorio donde tengamos el archivo:

iconv -f ISO-8859-1 -t UTF-8 archivo.yml > archivo2.yml

esto nos crea una copia de archivo.yml (Latin-1) llamado archivo2.yml que usa UTF-8 y que podemos usar directamente en nuestro script Python. Incluso podemos ejecutar este comando desde nuestro propio script python usando el módulo subprocess.

4
  • Creo que el problema es que el archivo yaml fue creado en Windows. En condiciones normales, trabajando en *nix no tengo esos problemas. Tu respuesta me hace ver que en realidad lo que me conviene hacer es trabajar en el archivo que tiene esa codificación que alterar mi archivo.
    – toledano
    el 23 mar. 2017 a las 15:14
  • 1
    Si, ese es el problema. Hace nada contesté a otra pregunta que manejaba un txt y el código funcionaba en windows pero daba problemas en Ubuntu/MacOs por estar codificado en ISO 8859-1 por defecto y no en Unicode que es lo que esperan los otros sistemas operativos . Los sistemas operativos no manejan igual los archivos y por lo tanto tampoco lo hace open(). Si conoces la codificacion que usa coincido en que es mejor trabajar sobre el archivo.
    – FJSevilla
    el 23 mar. 2017 a las 15:34
  • 2
    Puedes crear una copia del archivo cambiando la codificación en la propia terminal iconv -f ISO-8859-1 -t UTF-8 archivo.yml > archivo2.yml
    – FJSevilla
    el 23 mar. 2017 a las 15:44
  • Funcionó! Esto me parece mejor, más eficiente y más efectivo que modificar mi programa... Gracias.
    – toledano
    el 23 mar. 2017 a las 15:49

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.