0

Necesito desarrollar una función para medir la cantidad de variación (entropía) de una distribución. Los datos los ordeno en una lista. Cada elemento de la lista representa el número de veces que se ha producido una señal. De tal manera que en a=[1,2,4,0] la señal 1 se ha producido una vez, la señal 2 se ha producido 2 veces, la señal 3 se ha producido 4 veces y la señal 4 se ha producido 0 veces. Por lo tanto, en la distribución a=[1,1,1,1] tenemos máximo desorden y la entropía es 2.0. Sin embargo, en la distribución a=[4,0,0,0] tenemos máximo orden (o una predictibilidad máxima para la señal 1) y la entropía que obtenemos es 0.0.

La función de entropía que utilizo es la siguiente:

import math
def calcular_ent(lista):
    auxstring = "".join(str(i + 1) * x for i, x in enumerate(lista))
    return (-sum(freq*math.log(freq, 2)
                                  for freq in (float(auxstring.count(n))/len(auxstring)
                                      for n in set(auxstring))))

El problema que tengo es que los resultados que mi función arroja para algunas distribuciones de señales es defectuosa. Por ejemplo: Para lista = [1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0] obtengo una entropía de:

[3.0]

Para lista = [0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1] obtengo una entropía de:

[2.3068905956085186]

Si se observa bien el resultado que se obtiene para la segunda distribución debería ser el mismo que para la primera distribución, es decir, 3.0.

No sé realmente a qué se debe esta diferencia en el resultado que arroja la función. Si alguien observa el por qué de dicha diferencia y es capaz de echarme una mano para corregir la función (haciendo que los resultados de distribuciones iguales sean los mismos) lo agradezco.

2
  • Hola pyring, ¿podrias explicar cual es el algoritmo o formula matemática que pretendes usar para calcular la entropia?. Ten en cuenta que tu función genera auxstrings muy diferentes para los casos que pones, para la primera lista tienes 12345678 y para la segunda 910111213141516. Ademas generas números de dos cifras que agregas al string pero que luego son tratados y contados como dígitos y no como enteros al hacer el count.
    – FJSevilla
    Commented el 12 sept. 2017 a las 12:31
  • Hola @FJSevilla. La entropía que pretendo usar es la fórmula general de la Entropía de Shannon. La idea es medir la variación de señales que hay en el sistema, de tal manera que [4,0,0,0] arrojé baja entropía y [1,1,1,1] alta. La función funciona correctamente en la mayoría de los casos, pero en distribuciones largas la entropía varía y no llego a entender muy bien por qué. Este hecho es crítico porque me genera dificultades al analizar los datos en R. Por ejemplo, [0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1] y [1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0] deberían arrojar la misma entropía.
    – pyring
    Commented el 12 sept. 2017 a las 12:43

1 respuesta 1

1

No tiene mucho sentido la cadena auxstring. Si aplicamos a una lista de 10 elementos [0,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1]tenemos:

auxstring == '910111213141516'

Se supone que '9' corresponde al primer '1', '10' al segundo, '11' al tercero, etc. Al crear la cadena has perdido información, con lo que nada de lo que haces después funcionará.

Tienes que hacer dos cosas:

  • obtener el número de ocurrencias:

    N = sum(lista)
    
  • sumar las frecuencias:

    S = sum(-freq/N * math.log(freq/N, 2) for freq in lista)
    

Pero debemos introducir una salvaguarda para que el caso freq == 0 no dé error. Nos quedaría así:

def entropia(lista):
    N = sum(lista)
    probs = (freq/N for freq in lista if freq>0)
    return -sum(x * math.log(x, 2) for x in probs)
6
  • Hola @ChemaCortes, muchas gracias por tu respuesta. Ahora entiendo mucho mejor el porqué de la disfunción inicial. No obstante, al correr el programa con la lista mencionada obtengo el siguiente error: return -sum(x * math.log(x, 2) for x in probs) ValueError: math domain error
    – pyring
    Commented el 12 sept. 2017 a las 14:03
  • Vale, para quien lea esto. El problema con la función se produce al correrlo con Python 2.7. Hay que adaptar el ambiente a Python 3.0. Para resolver el problema hay que importar al inicio del código el siguiente módulo: "from future import division"
    – pyring
    Commented el 12 sept. 2017 a las 14:48
  • @ChemaCortes, entiendo que debiera ser N = len(lista) en vez de sum Commented el 12 sept. 2017 a las 15:34
  • @pyring Así es, suelo trabajar con python3. Si no quieres usar la división de python3, puedes convertir las frecuencias a float: probs = (float(freq)/N for freq .... Commented el 12 sept. 2017 a las 17:18
  • @PatricioMoracho Según el enunciado, son listas de ocurrencias, no una población de resultados. Los elementos ya han sido agrupados por valor y desconocemos sus valores particulares. Commented el 12 sept. 2017 a las 17:22

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.