5

Estoy populando una base de datos MySQL mediante python (debido a un proyecto en Django) y no consigo almacenar los caracteres de forma correcta. Cuando tienen una tilde, diéresis etc...Se me almacenan mal.

La base de datos la tengo configurada en 'UTF-8', y antes de almacenar el dato, hago un print y se me muestra en consola el nombre de forma correcta, pero al almacenarlo se 'corrompe' y cuando lo extraigo, como es lógico, sigue corrupto. Intento transformarlo con unicode('cadena', 'utf-8) pero me dice que no se puede leer los caracteres de la posición x,y, que cómo os imaginareis, son las letras con acentos y demás.

def _create_Historial(self):

    datos = [self.DB_HOST, self.DB_USER, self.DB_PASS, self.DB_NAME]

    conn = MySQLdb.connect(*datos)
    cursor = conn.cursor()
    cont = 0

    with open('principal/management/commands/Historial_fichajes_jugadores.csv', 'rv') as csvfile:
        historialReader = csv.reader(csvfile, delimiter=',')
        for row in historialReader:
            if cont == 0:
                cont += 1
            else:
                #unicodedata.normalize('NFKD', unicode(row[4], 'latin1')).encode('ASCII', 'ignore'),
                cursor.execute('''INSERT INTO principal_historial(jugador_id, temporada, fecha, ultimoClub, nuevoClub, valor, coste) VALUES (%s,%s,%s,%s,%s,%s,%s)''',
                               (round(float(row[1]))+1,row[2], self.stringToDate(row[3]), unicode(row[4],'utf-8'), row[5], self.convertValue(row[6]), str(row[7])))

    conn.commit()
    cursor.close()
    conn.close()

El error es el siguiente:

Traceback (most recent call last): File "/home/tfg/pycharm-2016.3.2/helpers/pycharm/django_manage.py",    line 41, in <module> run_module(manage_file, None, '__main__', True) File "/usr/lib/python2.7/runpy.py", line 188, in run_module fname, loader, pkg_name) File "/usr/lib/python2.7/runpy.py", line 82, in
_run_module_code mod_name, mod_fname, mod_loader, pkg_name) File "/usr/lib/python2.7/runpy.py", line 72, in _run_code exec code in run_globals File "/home/tfg/TrabajoFinGrado/demoTFG/manage.py", line 10, in  <module> execute_from_command_line(sys.argv) File "/usr/local/lib/python2.7/dist-    packages/django/core/management/__init__.py", line 443, in   execute_from_command_line utility.execute() File "/usr/local/lib/python2.7/dist
-packages/django/core/management/__init__.py", line 382, in execute self.fetch_command(subcommand).run_from_argv(self.argv) File "/usr/local/lib/python2.7/dist-packages/django/core/management/base.py", line 196, in run_from_argv self.execute(*args, **options.__dict__) File "/usr/local/lib/python2.7/dist-packages/django/core/management/base.py", line 232, in execute output = self.handle(*args, **options) File "/home/tfg/TrabajoFinGrado/demoTFG/principal/management/commands/populate_db.py", line 230, in handle self._create_Historial() File "/home/tfg/TrabajoFinGrado/demoTFG/principal/management/commands/populate_db.py", line 217, in _create_Historial (round(float(row[1]))+1,row[2], self.stringToDate(row[3]), unicode(row[4],'utf-8'), row[5], self.convertValue(row[6]), str(row[7]))) File "/usr/local/lib/python2.7/dist-packages/MySQLdb/cursors.py", line 187, in execute query = query % tuple([db.literal(item) for item in args]) File "/usr/local/lib/python2.7/dist-packages/MySQLdb/connections.py", line 278, in literal return self.escape(o, self.encoders) File "/usr/local/lib/python2.7/dist-packages/MySQLdb/connections.py", line 208, in unicode_literal return db.literal(u.encode(unicode_literal.charset)) UnicodeEncodeError: 'latin-1' codec can't encode characters in position 6-7: ordinal not in range(256)

Un ejemplo de como se me ve: Gaël Clichy, Ilkay GĂźndogan, Gnégnéri Yaya Touré

8
  • unicode(row[4], 'latin1')) ¿por qué latin1 y no utf-8?
    – A. Cedano
    el 23 feb. 2017 a las 15:49
  • Hola, en el error obtenido se muestra latin-1,pero si te fijas en mi función _create_historial utilizo utf-8 en lugar de latin1, no se si es eso a lo que te refieres. ¿Sugieres que utilice latin1? En caso de ser asi, ya he probado varías codificaciones en lugar de utf-8 pero el resultado es el mismo.
    – kylehide65
    el 23 feb. 2017 a las 16:48
  • Sugiero lo contrario, que cambies latin1 por utf-8.
    – A. Cedano
    el 23 feb. 2017 a las 16:55
  • Pero ¿donde?, ya utilizo utf-8, tanto en el código de python como en la cofiguración de la base de datos, las colletion las tengo acorde a utf-8. ¿Qué sugieres exactamente que cambie por utf-8? No llego entenderte, perdona mi insistencia.
    – kylehide65
    el 23 feb. 2017 a las 17:04
  • Aquí: #unicodedata.normalize('NFKD', unicode(row[4], 'latin1')).encode('ASCII', 'ignore'), ... no veo utf-8, sino latin1 y ASCII ... ¿qué pretendes hacer ahí?
    – A. Cedano
    el 23 feb. 2017 a las 17:07

1 respuesta 1

5

Es un problema común y se debe al gestor MySQLdb ya que normalmente intenta codificar todo a latin-1 por defecto. Prueba lo siguiente al crear tu conexión y el cursor para forzar la codificación a UTF-8:

datos = [self.DB_HOST, self.DB_USER, self.DB_PASS, self.DB_NAME]
conn = MySQLdb.connect(*datos)
conn.set_character_set('utf8')
cursor = conn.cursor()
cursor.execute("SET NAMES utf8;")
cursor.execute("SET CHARACTER SET utf8;")
cursor.execute("SET character_set_connection=utf8;")
3
  • Muchísimas gracias, me funcionó. ¡Por fin! De las más de 20000 tuplas hasta ahora sólo he visto una que no he haya codificado bien, pero ni punto de comparación en antes que eran muchísimas. Muchas gracias. Saludos desde Sevilla ;)
    – kylehide65
    el 24 feb. 2017 a las 0:31
  • @kylehide65 dependiendo de la versión de MySQL que uses puedes probar a codificar con UTF-8 de 4 bytes en vez de tres a ver si de esta forma te lo codifica todo correctamente. Para ello: : conn.set_character_set('utf8') cursor = conn.cursor() cursor.execute("SET NAMES utf8mb4;") cursor.execute("SET CHARACTER SET utf8mb4;") cursor.execute("SET character_set_connection=utf8mb4;"). Recuerda codificar también toda columna CHAR, VARCHAR, y TEXT en utf8mb4 en MySQL.Esto no debería dar problemas para emojis, por ejemplo
    – FJSevilla
    el 24 feb. 2017 a las 2:44
  • Sí, lo tengo ya todo codificado en utf8mb4, pero aun así esa tupla se escapa. Pero es un problema menor. Muchas gracias compañero.
    – kylehide65
    el 24 feb. 2017 a las 17:22

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.