1

Estoy realizando scrapes a páginas deportivas con el objetivo de almacenar datos en una base de datos SQLite. Dichos datos suelen tener el formato XX-XX donde las X son números, y reflejan, para local y visitante, pues goles, disparos, corners, etc...

De cara a optimizar el almacenamiento (bajo la creencia de que es mejor almacenar un número que un texto), decidí codificarlo de manera que XX-XX quedase como un número que fuese capaz más tarde de decodificar.

Inicialmente pensé en XX0XX, y decodificarlo con la expresión

b='XX0XX'
re.split('0([1-9])',b)

Esto, por desgracia, he descubierto da fallos cuando por ejemplo, la codificación es

'Resultado es 2-0'
b='200'
re.split('0([1-9])',b)
>>'200'

En lugar de

>>['2','0']

Como solución, pensé en poner otro número como codificación, algo así como XX27XX, que realmente sirve para casi todo, salvo que decidas almacenar un parámetro que pueda ser 27 para algún equipo, como tiros a puerta, o ataques peligrosos.

4 respuestas 4

2

Este problema se resuelve fácilmente con teoría de información discreta, en tu caso puedes almacenar un resultado en un entero, tomando como entero un entero de 4bytes (el tamaño por defecto para el tipo int).

Logicamente puedes dividir un entero en dos partes, (en tu caso dos enteros de 2bytes), dichos enteros podrían almacenar valores en un rango de 0 a 6535, por lo que podrías codificar los resultados desde 0-0 hasta 6535-6535

Codificación

Para codifica el resultado basta hacer lo siguiente:

  • Obtener el par de números a codificar
  • Crear un entero r e inicializarlo en 0
  • Sumarle a r el resultado de multiplicar el primer número por 2^16
  • Sumarle a r el segundo número
  • Devolver r como la codificación del par de números.

Ejemplo: codificar el string 5-3

  • 5 y 3
  • r = 0
  • r += 5 * 2 ^ 16
  • r += 3
  • r = 327683

Decodificación

Para decodificar el número se hace el proceso inverso

  • Solicitar el entero n a decodificar
  • Crar una lista de enteros [a,b]
  • Establecer a como el número resultante de dividir n con 2^16
  • Establecer b como el número resultante de restar n con a * 2^16
  • Devolver lista

Ejemplo: decodificar el número 327683

  • n = 327683
  • a = (327683) / 2^16 = 5
  • b = 327683 - (5 * 2 ^ 16) = 3
  • [5,3]

Ejemplo en python

class Puntaje:
    @staticmethod
    def codificar(string):
        r = 0
        l = string.split('-')
        r += int(l[0]) << 16
        r += int(l[1])
        return r

    @staticmethod
    def decodificar(n):
        l = [0,0]
        l[0] = n >> 16
        l[1] = n - (l[0] << 16)
        return l

a = Puntaje.codificar('5-3')    # 327683
b = Puntaje.decodificar(a)  # [5,3]

Espero te sirva, saludos.

0
1

* Fue una pregunta con autorespuesta, así que respondo a ambos.

Usar un número para separar números es imposible. Para separar 2 elementos, hay que usar un separador que no pueda ocurrir jamás dentro de un elemento. Por ejemplo, si tuvieras almacenado a 1020304... ¿Qué es? 1-20304, 102-304, 10203-4, ó 1-2-3-4... ¿Se ve el problema?

No hay beneficio en codificar 2 números en 1. No veo ningún beneficio en juntarlos, todo lo contrario, sólo problemas. Mencionaste que era para optimizar el almacenamiento, pero el tamaño teórico en memoria va a ser siempre el [máximo permitido]^2. Cuando son 2 números, lo mejor es almacenarlos como 2 números, en 2 campos de tu base de datos. Te va a evitar futuros dolores de cabeza, especialmente si quisieras buscar algo como: partidos de un equipo con más de 100 pases, partidos con más de 3 goles de diferencia, etc. Si tuvieras que hacerlo sobre el mismo campo sería algo complicado, y muy sencillo si están en campos diferentes. Además, SQLite usa un sistema dinámico de tipeo, por lo que preocuparse por la definición de tipos de datos es innecesario.

Sólo para saber, cómo se podrían unir en un campo. Una opción sería ubicar a ambos en partes diferentes del mismo número, dependiendo el tamaño máximo permitido. Por ejemplo, si el tamaño máximo es 1000 (entre 0 y 999), podrías codificar 123 y 45 como 123045.

  • Para codificar: final = num1 * max + num2.
  • Para decodificar: num1 = int(final / max); num2 = final % max.

Pero, de nuevo, no es la mejor forma, usá 2 campos.

En cuanto a la expresión regular. Usaste un split con 0(?=0$)|0(?=[1-9]), y me pareció muy creativo, está muy bien. En aras de simplificarla un poco, en vez de considerar que el 0 esté seguido de un número que no sea 0, o de 0 sólo si ese 0 está al final, podríamos buscar la condición: que el cero no esté seguido de otro 0 más otro caracter. Es decir, 0(?!.*0.).

Sin embargo, en estos casos, en vez de hacer split sobre un caracter con múltiples condiciones, es más sencillo buscar que coincida con un número, un cero y otro número, capturando a ambos números, con (\d+)0(\d+).

import re

regex = r"(\d+)0(\d+)"

pruebas = ['600','008','1000','2004','107','1007', '1020304']
for numero in pruebas:
    matches = re.search(regex, numero)
    print (numero + "\t-->\t" + matches.group(1) + ",\t" + matches.group(2))

Salida:

600     --> 6,     0
008     --> 0,     8
1000    --> 10,    0
2004    --> 20,    4
107     --> 1,     7
1007    --> 10,    7
1020304 --> 10203, 4

¿Por qué (\d+)0(\d+) coincide con el último cero? Porque el motor de regex evalúa el patrón de izquierda a derecha, buscando todos los intentos hasta encontrar una coincidencia (o fallar en el intento). Lo primero que intenta es \d+, y como los cuantificadores son golosos (greedy) por omisión, va a intentar coincidir con la mayor cantidad de dígitos que pueda y luego, si toda la expresión no coincide, va a retroceder (backtrack) intentando con uno menos. Es decir, que el primer \d+ va a consumir todos los dígitos, siempre que luego coincida con 0(\d+).

Por ejemplo, con 1007, los pasos serían (sacado de regex101):

debug paso a paso de regex101.com


Claro que este regex separaría a 1020304 como 10203 y 4, pero por eso es que te recomiendo usar 2 campos diferentes, y no preocuparte por cómo dividirlo con regex.

9
  • Sí tiene beneficio guardarlos como un sólo entero, si se guardasen como string el puntaje 200-200 requerirían 7bytes, facilmente reducibles a 4bytes. Y no, no es imposible, ver mi respuesta más arriba. Commented el 30 oct. 2017 a las 21:37
  • @Eduen creo que no fue clara parte de mi respuesta (avisame qué no se entendió)... No estoy diciendo de guardarlo como un string, para nada!!! Digo que le conviene usar 2 campos numéricos independientes en la base de datos. Recordá que en SQLite hay afinidad de tipos... Por otro lado, si lees la parte de "cómo se podrían unir en un campo", verás que le estoy respondiendo lo mismo que le respondiste (sin operadores lógicos, sino matemáticos, porque me pareció más sencillo explicarlo así)... Y no creo que sea bueno unirlos, son 2 valores independientes.
    – Mariano
    Commented el 30 oct. 2017 a las 21:46
  • @Eduen lo que digo que es imposible es usar un número dentro de la secuencia de dígitos, por ejemplo un 0 entre los 2 números, como buscaba el autor... No digo que sea imposible juntarlos (como comenté recién)... Y la parte final, sobre el regex, es una nota de color evaluando la expresión que usó, pero creo haber recalcado varias veces que no use eso.
    – Mariano
    Commented el 30 oct. 2017 a las 21:58
  • En términos de indexación es más óptimo tenerlos unidos, después de todo en las consultas se solicitaría siempre ambos y no por separado. Aquí el problema es que no piensa guardar solo un campo con este esquema, sino varios, imagina que sean 12 campos con el mismo esquema, tendría que crear 32 campos si los separase, en 32 campos la indexación si tendría penalización y haría más largas las consultas. Commented el 30 oct. 2017 a las 22:01
  • Y sí @Mariano he leído más atentamente tu respuesta, error mío por comentar precipitadamente. Commented el 30 oct. 2017 a las 22:02
0

Finalmente he encontrado la que creo es la solución correcta.

Voy a utilizar split con regex y lo que en inglés se conoce como lookahead y lookbehind expressions.

import re

a='600'
b='008'
c='1000'
d='2004'
e='107'
for i in [a,b,c,d,e]:
    print(re.split('0(?=0$)|0(?=[1-9])',i))

>>['6', '0']
  ['0', '8']
  ['10', '0']
  ['20', '4']
  ['1','7']

En la expresión '0(?=0$)|0(?=[1-9])' significa que tiene que buscar un 0, que es el elemento sobre el que hace split, que SI esté seguido ?= por un 0 como final de string, o | que esté seguido por un carácter numérico del 1 al 9.

Normalmente pregunto, en esta ocasión he decidido compartir la respuesta que he conseguido por mi cuenta, si alguien tiene un sistema mejor bienvenido sea.

2
  • No uses un 0 para dividir números. ¿Cómo considerarías a 70108 por ejemplo? ¿Y cómo lo trata tu código? Si son 2 números, usá 2 campos en tu base
    – Mariano
    Commented el 30 oct. 2017 a las 9:50
  • Quizá es que no entiendo bien, pero si tu lógica en (\d+)0(\d+) significa un 0 precedido por 1 o más digitos y seguido por 1 o más dígitos, no daría problemas en algo como '1007'? Por lo demás si, si algún parámetro superase el valor 100 mi código deja de ser válido, es algo que no se me había ocurrido, por lo que me plantearé cambiarlo a columnas separadas. Un saludo.
    – puppet
    Commented el 30 oct. 2017 a las 10:12
-2

Personalmente yo lo guardaría en la base de datos en formato string. Además, tienes que tener en cuenta el coste de procesamiento en el proceso posterior para manipular el número.

Pero bueno, partiendo de que lo dejas así, lo más rápido de procesar a mi entender y lo más limpio es lo siguiente:

1) Lo guardas en BBDD como un número sustrayendo el guión. Ejem: 01-02 -> 0102

2) Obtienes el número de tu BBDD y lo conviertes a string con el método: toString(). ejem:

let n = numero.toString()

3) Extraes los resultados con el método: substring(). Ejem:

let a = n.substring(0,1)
let b = n.substring(2,3)

4) Puedes concatenar esos valores para pintarlos en la pantalla:

let element = // El elemento html donde quieres que se imprima 
element.textContent = `${a}-${b}`
2
  • Pero a la larga, con varias miles de filas de datos almacenadas, no hay diferencia en peso o velocidad de procesamiento entre tener ese campo como string o tenerlo como integer? No recuerdo donde o a quien se lo leí, porque fue a principio de año y no lo he conseguido volver a encontrar, pero me suena haber leído que había una diferencia sustancial entre una opción y otra.
    – puppet
    Commented el 30 oct. 2017 a las 10:32
  • Esto fallaría con números que no sean de 2 dígitos... Además, no encuentro el motivo para la recomendación de guardar un número como string
    – Mariano
    Commented el 30 oct. 2017 a las 10:34

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.