0

A sugerencia de @FJSevilla, estoy creando una nueva pregunta respecto de leer archivos que tienen la estructura como la muestra que sigue, los archivos (muchos) tienen mas de ±4000 lineas

-08:22 14:52:06 -53°08'09.3" -70°52'54.0" 22.0 1003.0 10.3 54.9 0.0243 21.3 0.0991 0.0001 0.0002 0.0 0.0
-08:21 14:52:07 -53°08'09.3" -70°52'53.9" 22.0 1003.0 10.4 55.0 0.0231 21.3 0.0551 0.0001 0.0001 0.0 0.0    
-08:20 14:52:08 -53°08'09.3" -70°52'53.9" 22.0 1003.0 10.4 55.0 0.0224 21.3 0.0279 0.0000 0.0000 0.0 0.0

La idea principal es crear un nuevo archivo (uno a uno) transformando los grados minutos y segundos a decimal, es decir -53°08'09.2" = 53.1358888889, el código que estoy intentando es:

import re
import os

print(sys.stdin.encoding)    

path1 = '/Users/Documents/test1.txt'
path2 = '/Users/Documents/outtest1.txt'

degree_sym = u'\N{DEGREE SIGN}'
patt = re.compile(r'(-?)(\d+)'+ degree_sym + r"(\d+)'" + r'(\d+|\d+\.\d+)"')
salida = open(path2, 'w', encoding="utf-8", errors="surrogateescape")

def convertir(matchobj):
    sign    = int(matchobj.groups()[0]+'1')
    degrees = float(matchobj.groups()[1])
    minutes = float(matchobj.groups()[2])/60.0
    seconds = float(matchobj.groups()[3])/3600.0
    return "{0:.5f}".format(sign*(degrees+minutes+seconds))

if os.path.exists(path1):
    with open(path1, 'r', errors="surrogateescape") as f:
    answer = [re.sub(patt,convertir ,line) for line in f]
    print(answer, sep = '')

#  salida.writelines(answer)

salida.close()

Como al intentar grabar en el archivo "salida.txt" no resulto ¿?, en el código incluido aquí intenté una salida en pantalla [print(answer, sep = ' '] .... con el siguiente resultado:

US-ASCII

[' -08:22 14:52:06 -53\udcc2\udcb008\'09.3" -70\udcc2\udcb052\'54.0" 22.0 1003.0 10.3 54.9 0.0243 21.3 0.0991 0.0001 0.0002 0.0 0.0\n', ' -08:21 14:52:07 -53\udcc2\udcb008\'09.3" -70\udcc2\udcb052\'53.9" 22.0 1003.0 10.4 55.0 0.0231 21.3 0.0551 0.0001 0.0001 0.0 0.0\n', ' -08:20 14:52:08 -53\udcc2\udcb008\'09.3" -70\udcc2\udcb052\'53.9" 22.0 1003.0 10.4 55.0 0.0224 21.3 0.0279 0.0000 0.0000 0.0 0.0\n', ' -08:19 14:52:09 -53\udcc2\udcb008\'09.3" -70\udcc2\udcb052\'53.9" 22.0 1003.0 10.3 54.9 0.0241 21.4 0.0918 0.0001 0.0002 0.0 0.0\n', ']

Estoy usando python 3.5.3 con Spyder, Anaconda en un Mac con Sierra.

1
  • El código funciona perfectamente en Python 3 bajo Windows con el txt codificado como ANSI. Está claro que es un problema de codificación, empezando por el principio ¿como está codificado el archivo test1.txt, es ANSI, UTF-8, etc?
    – FJSevilla
    el 22 mar. 2017 a las 17:12

1 respuesta 1

0

Quiero dejar claro que no he podido probar lo que voy a comentar a continuación en un sistema Mac por no disponer de uno a mano. dicho esto, el código funciona correctamente en Windows usando como codificación para el archivo de texto de entrada ANSI(ISO-8859-1).

Al no disponer de Mac l he probado en Kubuntu y Python 3.5 usando el mismo archivo de texto de entrada que en Windows y se obtiene el mismito error. Hay que recordar que en Linux los archivos de texto no llevan una codificación implícita, son "archivos con bytes dentro" y por defecto se intenta decodificar a unicode. Básicamente lo que ocurre es que no se pueden decodificar los caracteres °, ' y ". Esto lleva a que se escapen y por lo tanto la expresión regular no se encuentra. Al no encontrarla escribe la misma linea del archivo de origen con los caracteres escapados.

Hay dos soluciones, o bien nos aseguramos que el archivo de origen sea UTF-8 o descubrimos que codificación usa el archivo y forzamos a Python a usarla al leerlo. Si nos aseguramos que el archivo de entrada sea UTF-8 el código anterior es válido o para asegurarnos forzamos la codificación al abrirlo:

with open(path1, 'r',encoding="utf-8", errors="surrogateescape") as f:

Si el archivo no es UTF-8 hay que especificar la codificación correcta al leerlo dentro del with mediante el parámetro encoding. En mi caso en Windows usaba una codificación ANSI(ISO-8859-1) en el archivo de entrada (test1.txt), en este caso hacemos:

# -*- coding: utf-8 -*-
import re
import os
import sys

print(sys.stdin.encoding)

path1 = '/Users/Documents/test1.txt'
path2 = '/Users/Documents/outtest1.txt'

degree_sym = u'\N{DEGREE SIGN}'
patt = re.compile(r'(-?)(\d+)'+ degree_sym + r"(\d+)'" + r'(\d+|\d+\.\d+)"')
salida = open(path2, 'w', encoding="utf-8", errors="surrogateescape")

def convertir(matchobj):
    sign    = int(matchobj.groups()[0]+'1')
    degrees = float(matchobj.groups()[1])
    minutes = float(matchobj.groups()[2])/60.0
    seconds = float(matchobj.groups()[3])/3600.0
    return "{0:.5f}".format(sign*(degrees+minutes+seconds))

if os.path.exists(path1):
    with open(path1, 'r',  encoding='ISO-8859-1', errors="surrogateescape") as f:
        answer = [re.sub(patt,convertir ,line) for line in f]
        print(answer, sep = '')
        salida.writelines(answer)

salida.close()

Tanto la impresión como el txt de salida son ahora correctos. Repito que esto funciona en linux (Kubuntu), no me gusta responder sin probar antes en el SO requerido pero me es imposible en estos momentos. De todas formas estoy bastante seguro de que este es el problema: la codificación del archivo de entrada no es UTF-8.

De hecho, usando un archivo codificado en ANSI podemos obtener el mismo problema en Windows si forzamos la codificación a UTF-8:

with open(path1, 'r',encoding="utf-8", errors="surrogateescape") as f:
2
  • Gracias estimado @FJSevilla, excelente respuesta!! en efecto el problema de "encoding" es lo que genera la lectura errada. Ahora pregunto (disculpen si parece demasiado básica), pero como puedo saber el tipo de codificación que tiene un archivo? Gracias
    – Istari
    el 22 mar. 2017 a las 19:38
  • @Istari puedes intentar leer la información MIME-type del archivo, en Linux es file -i path1.txt en MacOs creo que vale file -I path1.txt (no estoy seguro de esto), logicamnete en la terminal. Otra opción es usar la biblioteca chardet de Python. Aunque el tema parezca simple no lo es, podemos encontrarnos con un archivo (que no es mas que un conjunto de bytes) que no disponga de MIME types u alguna otra 'pista' sobre la codificación, en este caso solo nos queda probar a ver cual da un resultado plausible que es lo que hace chardet.
    – FJSevilla
    el 23 mar. 2017 a las 9:58

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.