1

Estoy haciendo en Python un programa que desempaquete una serie de datos de un fichero almacenados línea a línea. Como podéis ver, estoy usando el módulo struct y la función struct.unpack() para dicho fin.

Los datos de cada línea son: 2 bytes, 2 enteros de 32 bits y un entero de 16 bits en ese orden (un total de 12 bytes).

El código que he implementado es el siguiente:

#!/usr/bin/python
import struct

f = open('Fichero', 'rb')

while(1):
    line = f.readline()
    if not line:
        break
    else:
        print(struct.unpack('!2b2ih', line))

f.close()

El problema es que al ejecutar el código me encuentro ante el siguiente error:

struct.error: unpack requires a bytes object of length 12

error que no entiendo porque en principio line tiene una longitud de 12 bytes y el formato del primer argumento parece ser correcto.

0

1 respuesta 1

1

El formato !2b2ih es el correcto para los datos que afirmas tener por cada línea, el error no está tanto en el código, está en la concepción del fichero en sí.

Hay dos causas posibles (y concurrentes) para el problema (descartando por supuesto errores al crear el fichero y que lo que hay por cada "linea" no sea lo que se supone que es):

  • El método readline retorna una cadena de bytes desde la posición actual del cursor hasta que se encuentra con un un EOL. En ningún momento elimina el carácter \r o \n, este se retorna también en la cadena. Por lo tanto tu variable line no va a tener 12 bytes, va a tener 13 (o 14 si el fin de linea es CRLF).

  • Hay que tener en cuenta que desde el punto de vista de los datos, cuando lees bytes de un fichero son solo eso, bytes. Es decir, no significan nada, no hay nada que diferencie que es un entero y que es carácter o un float. Ese significado se le da después. Esto es obvio pero muy importante, el entero 10 en binario sería 0000 1010 (0A en hexadecimal), exactamente el mismo valor que tiene el carácter line feed (\n) en la tabla ASCII. ¿Qué pasa si en tu archivo se guarda un 10 como int de 16 bits? Pues que cuando intentas usar readline el último byte del entero es tomado como un salto de línea y tenemos el problema montado...

Podemos verlo de forma más gráfica si usamos un ejemplo, si concatenamos el byte 0100 0001 el byte 0100 0010, el entero de 4 bytes 14753, el entero de 4 bytes 10 y el entero de 2 bytes 23 y el salto de línea obtenemos la siguiente cadena de bytes (hex):

b'\x41\x42\x00\x00\x39\xa1\x00\x00\x00\x0A\x00\x17\x0A'

Cuando readline recorre el fichero lo hace desde la posición actual del cursor hasta encontrarse un carácter LF, si recorremos la cadena anterior con readline o readlines obtenemos lo siguiente:

>>> from io import BytesIO
>>> file = BytesIO(b'\x41\x42\x00\x00\x39\xa1\x00\x00\x00\x0A\x00\x17\x0A')
>>> file.readline()
b'AB\x00\x009\xa1\x00\x00\x00\n'
>>> file.readline()
b'\x00\x17\n'

El entero 10 causa que la cadena se rompa, al final obtenemos una "linea" con 10 bytes y otra con 3 que contiene el \n final...


Para almacenar tu estructura no debes usar saltos de línea. Simplemente ve concatenando cada cadena de 12 bytes una detrás de otra. ¿Cómo lo desempaquetamos luego? Pues si sabemos que van en paquetes de 12 bytes simplemente debemos iterar sobre el archivo obteniendo cadenitas de 12 bytes en 12 bytes.

Un ejemplo muy simple usando el propio módulo struct para crear y luego para leer el fichero:

import struct



with open("Fichero", "wb") as f:
    f.write(struct.pack('!2b2ih', ord("A"), ord("B"), 107788, 17455, 23))
    f.write(struct.pack('!2b2ih', ord("C"), ord("D"), 19488, 431542, 5588))
    f.write(struct.pack('!2b2ih', ord("\n"), ord("F"), 47588, 42442, 77))

with open('Fichero', 'rb') as f:
    for st in struct.iter_unpack('!2b2ih', f.read()):
        print(st)

Lo cual nos parsea el fichero sin problemas, la salida será:

(65, 66, 107788, 17455, 23)
(67, 68, 19488, 431542, 5588)
(10, 70, 47588, 42442, 77)

El método struct.iter_unpack apareció en Python 3.4, si se usa una versión anterior siempre podemos crear nuestro propio método:

def iter_unpack(fmt, buffer):
    size = struct.calcsize(fmt)
    gen = (buffer[i: i+size] for i in range(0, len(buffer), size))
    for chunck in gen:
        yield struct.unpack(fmt, chunck)

with open('Fichero', 'rb') as f:
    for st in iter_unpack('!2b2ih', f.read()):
        print(st)

Si tu fichero no lo creas tú, y por tanto debes usarlo como está si o sí, puedes hacer algo para solucionar tu problema siempre que sea debido a lo comentado.

La idea es leer el archivo igual que antes, pero tomando paquetes de 13 bytes y eliminando o ignorando el carácter final que corresponderá a \n en principio.

Vamos a crear un fichero en el que cada paquete de datos va a ir separado en una nueva línea:

import struct



with open("Fichero", "wb") as f:
    f.write(struct.pack('!2b2ih', ord("A"), ord("B"), 107788, 17455, 23))
    f.write(b"\n")
    f.write(struct.pack('!2b2ih', ord("C"), ord("D"), 19488, 431542, 5588))
    f.write(b"\n")
    f.write(struct.pack('!2b2ih', ord("\n"), ord("F"), 47588, 42442, 77))
    f.write(b"\n")

Si intentamos leerlo :

with open('Fichero', 'rb') as f:
    for st in struct.iter_unpack('!2b2ih', f.read()):
        print(st)

Obtenemos:

Traceback (most recent call last):
  File "D:\test.py", line 14, in <module>
    for st in struct.iter_unpack('!2b2ih', f.read()):
struct.error: iterative unpacking requires a bytes length multiple of 12

¿Te suena el error? Para intentar solucionarlo podemos hacer lo siguiente:

with open('Fichero', 'rb') as f:
    for st in struct.iter_unpack('!2b2ihb', f.read()):
        st = st[:-1]
        print(st)

En el caso anterior simplemente hacemos que struck.unpack parsee el carácter NF como un byte, que luego ignoramos. Otra opción más manual sería:

with open('Fichero', 'rb') as f:
    fmt = '!2b2ih'
    size = struct.calcsize(fmt) + 1
    dat = f.read()
    gen = (dat[i: i+size] for i in range(0, len(dat), size))
    for chunck in gen:
        print(struct.unpack(fmt, chunck[:-1]))

En ambos casos estamos suponiendo que se a añadido \n al final de cada "paquete" de datos. Lógicamente si se usa \r\n o la última línea no tuviera EOL tendríamos que adaptarlo.

1
  • Muchísimas gracias por tu respuesta, intentaré solucionar el error a partir de lo que me propones, porque efectivamente no estaba considerando saltos de línea.
    – Antonio
    el 5 mar. 2018 a las 17:56

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.