0

estoy tratando de hacer restas entre filas de 2 columnas. Para esto uso una funcion que resta la fila1-fila2, la eleva al cuadrado y le saca raíz cuadrada para eliminar signo negativo. Después se va a la fila2-fila3 y así hasta el final de los datos. Posteriormente la función calcula lo mismo pero para un separación de 2 filas (fila1-fila3), 3 filas y así hasta filas-1. Los resultados se guardan en dataFrame. Los datos con los que estoy trabajando están acomodados así:

df1
Out[44]: 
   TRACK_ID  POSITION_X  POSITION_Y  POSITION_T
0         0           1           1       35.36
1         0           2           2       35.52
2         0           3           3       35.68
3         0           4           4       35.84
4         0           1           1       35.36
5         0           4           3       34.88
6         0           2           3       34.40
7         0           6           4       33.92
8         0           4           2       33.44

La función parece funcionar, el problema es que me di cuenta que para algunos valores de separación entre las restas, me repite exactamente los mimos valores de la columna previa. Ejemplo:

rad
Out[28]: 
          0         1         2         3         4         5         6  \
0  1.414214  2.828427  4.242641  0.000000  3.605551  2.236068  2.236068   
1  1.414214  2.828427  1.414214  2.236068  1.000000  4.472136  4.472136   
2  1.414214  2.828427  1.000000  1.000000  3.162278  1.414214  1.414214   
3  4.242641  1.000000  2.236068  2.000000  2.000000       NaN       NaN   
4  3.605551  2.236068  5.830952  3.162278       NaN       NaN       NaN   
5  2.000000  2.236068  1.000000       NaN       NaN       NaN       NaN   
6  4.123106  2.236068       NaN       NaN       NaN       NaN       NaN   
7  2.828427       NaN       NaN       NaN       NaN       NaN       NaN   
8       NaN       NaN       NaN       NaN       NaN       NaN       NaN   

          7   8  
0  3.162278 NaN  
1       NaN NaN  
2       NaN NaN  
3       NaN NaN  
4       NaN NaN  
5       NaN NaN  
6       NaN NaN  
7       NaN NaN  
8       NaN NaN  

Columna 5 y 6 es lo mismo.

Este es mi código completo:

df1 = df[['TRACK_ID','POSITION_X','POSITION_Y','POSITION_T']].copy()



#Parameter input

N = df1.groupby('TRACK_ID').size()          
max_time = N*(0.160)
frames = max_time/N
t_step=frames.item()


data = pd.DataFrame({'N':N,'max_time':max_time,'frames':frames})

print(data)

t=np.linspace(0.160, max_time.item(), N)



#funcion para calcular las diferencias
def radial(df1, coords=['POSITION_X', 'POSITION_Y']):


        tau = t.copy()
        shifts = np.divide(tau,t_step).astype(float) #matrix que se ocupa para construir las diferencias entre valores de filas
        print(shifts)
        radials = list()

        for i, shift in enumerate(shifts):
            diffs = np.array(df1[coords] - df1[coords].shift(-shift))
            sqdist = np.square(diffs).sum(axis=1)
            r = np.sqrt(sqdist)
            radials.append(r)


        radial_disp = pd.DataFrame({'radials':radials})
        return radials


radial_d = radial(df1, coords=['POSITION_X', 'POSITION_Y'])

radd = pd.DataFrame.from_records(radial_d) #horizontal
rad = radd.transpose() #vertical

Ya modifique algunas partes de la función y me había dado cuenta que mi variable shifts que establece la separación entre las restas me arrojaba resultados repetidos porque estaban como int lo arregle poniendo float pero el resultado sigue siendo el mismo. Porque se repite el computo para la misma columna?? Gracias por leer mi post

1
  • Jonathan sería bueno que añadieras el contenido real de df1, o al menos un ejemplo con la salida esperada para crear un ejemplo mínimo verificable que podamos reproducir tu código. Por otro lado, siempre es positivo añadir comentarios al código explicando que es cada variable y que se hace en cada momento para facilitar la comprensión del código. Saludos.
    – FJSevilla
    el 15 may. 2017 a las 17:53

1 respuesta 1

1

La culpa la tiene el array shifts y la forma de calcularlo, los floats por su representación interna usando punto flotante sufren cambios en su precisión ya que todos los valores no pueden ser representados con exactitud en binario. Puedes encontrar mucha información en la web acerca de esto, uno bastante técnico y detallado es (en inglés):

What Every Computer Scientist Should Know About Floating-Point Arithmetic

En tu caso concreto creas el array t (y tau ya que es una copia) mediante numpy.linspace() usando incrementos de 0.16. En teoría el array debería ser:

tau = [ 0.16, 0.32, 0.48, 0.64, 0.80, 0.96, 1.12, 1.28, 1.44]

shifts se crea dividiendo ese array entre 0.16, podría pensarse que esto debe dar siempre valores enteros ya que el dividendo es múltiplo del divisor siempre. El problema es que algunos de esos valores no pueden ser representados de forma exacta en punto flotante.

Si imprimes t o tau aumentando la precisión del print te darás cuenta del problema:

>>> np.set_printoptions(precision=16)
>>> print(t)
[ 0.16                0.32                0.48                0.64                0.8
  0.9600000000000001  1.1199999999999999  1.28                1.4399999999999999 ]

Esto lleva a que en tu array shifts 7.0 sea en realidad 6.999999 (1.119999999999999/0.16):

>>> print(shifts)
[ 1.                  2.                  3.                  4.                  5.
  6.                  6.9999999999999991  8.                  9. ]

El método shift toma en cuenta la parte entera solamente (función floor) lo que lleva a que df1[coords].shift(-6.9) sea lo mismo que df1[coords].shift(-6.0). En este caso si usas float 32 en vez de float 64 para t el problema se 'corrige':

t = np.linspace(0.160, max_time.item(), N, dtype= np.float32)

Esta no es la solución realmente, para otros valores esto puede cambiar.

Para solucionar esto deberias pasarle valores enteros a shift correctamente corregidos. El problema se puede paliar redondeando al entero más próximo, por ejemplo con numpy.rint().

def radial(df1, coords=['POSITION_X', 'POSITION_Y']):
        tau = t.copy()
        shifts = np.rint(np.divide(tau, t_step))
        radials = list()

        for i, shift in enumerate(shifts):

            diffs = np.array(df1[coords] - df1[coords].shift(-shift))
            sqdist = np.square(diffs).sum(axis=1)
            r = np.sqrt(sqdist)
            radials.append(r)


        radial_disp = pd.DataFrame({'radials':radials})
        return radials

Con lo que obtenemos:

          0         1         2         3         4         5         6  \
0  1.414214  2.828427  4.242641  0.000000  3.605551  2.236068  5.830952   
1  1.414214  2.828427  1.414214  2.236068  1.000000  4.472136  2.000000   
2  1.414214  2.828427  1.000000  1.000000  3.162278  1.414214       NaN   
3  4.242641  1.000000  2.236068  2.000000  2.000000       NaN       NaN   
4  3.605551  2.236068  5.830952  3.162278       NaN       NaN       NaN   
5  2.000000  2.236068  1.000000       NaN       NaN       NaN       NaN   
6  4.123106  2.236068       NaN       NaN       NaN       NaN       NaN   
7  2.828427       NaN       NaN       NaN       NaN       NaN       NaN   
8       NaN       NaN       NaN       NaN       NaN       NaN       NaN   

          7   8  
0  3.162278 NaN  
1       NaN NaN  
2       NaN NaN  
3       NaN NaN  
4       NaN NaN  
5       NaN NaN  
6       NaN NaN  
7       NaN NaN  
8       NaN NaN
3
  • Wow!! me haz dado una tremenda cátedra! Me parecia que había revisado todo, pero al final estaba escondido ese detalle. Muchas gracias, en cuanto a los detalles, lo que hago es simplificar una serie de parámetros de un código mas grande, esto con fines de enfocarnos en la pregunta, pero siempre se van 2 o 3 detalles que pueden ser prescindibles. Tal vez para posterior uso de los lectores del blog, este código lo uso para calcular el desplazamiento de trayectorias a distintos lapsos de tiempo. el 16 may. 2017 a las 0:41
  • El TRACK_ID es la identificación de trayectorias individuales de una serie de mas de 9000 trayectorias que constan de cientos de puntos. Como son fotografías de microscopio 0.16 es el tiempo entre cada adquisición. Nuevamente muchas gracias por tu apoyo! el 16 may. 2017 a las 0:41
  • @JonathanPacheco comprendo, simplemente me parecia extraño el procedimiento porque parecía no tener sentido acotado al ejemplo que das. No eres el primero al que la representación en punto flotante causa dolores de cabeza... El problema es que, por la precisión por defecto del print, la incidencia queda oculta. La diferencia entre 6.9999999999999 y 7 no afecta demasiado en códigos con fines generales, pero si usas una función suelo la cosa cambia.... Realmente hay que tener mucho cuidado al manejar floats cuando la precisión es de vital importancia o en casos especiales como este.
    – FJSevilla
    el 16 may. 2017 a las 1:03

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.