6

Estoy replicando la correlación de spearman en R, en conjunto con el Rcpp para usar las funciones de C++, pero tengo un error consistente:

Cada vez que tomo matrices con filas mayores a las (alrededor) de 45 - 50 mil, mi correlación (delimitada teóricamente entre -1 y 1) se distorsiona terriblemente y puede ir tanto para cifras menores a -1 como mayores a 1. He corroborado que cada vez que uso matrices con filas menores al umbral que les comento, todo va bien. Supongo debe haber algún límite de trabajo en mi computadora (16 GB de RAM), ya que no encuentro otra explicación.

Solo para comentarles, una matriz de 60 000 filas, la recorto a 45 000 y el resultado de mi función Rcpp cae dentro del rango normal de una correlación. Le permito trabajar con todas sus files y termina siendo -18.

Si alguien tuviera algún comentario le agradecería muchísimo.

3
  • Por curiosidad, ¿puedes reproducir los mismos cálculos con otra herramienta (un Excel, por ejemplo)? Y llegar a determinar alrededor de qué número de fila los resultados comienzan a divergir?
    – user4717
    Commented el 14 ago. 2016 a las 12:18
  • Esta pregunta tiene una respuesta en inglés aquí: stackoverflow.com/questions/38757326/… Commented el 23 ago. 2016 a las 7:36
  • seria bueno que le traduzcan o pongan parte de la respuesta traducida para los que a futuro tengan este problema
    – Malthael
    Commented el 1 mar. 2017 a las 23:28

1 respuesta 1

0

Solucion:

Utilizar una implementacion de 64bits o un workaround de la matriz, que soporte mas elementos.

Te sobrepasas de cantidad de elementos que una matriz puede contener al llegar a ese valor que superas. Depende de el tamaño de entero que este soportando tu maquina, arquitectura, libreria que utilices. Claramente es de 32bit tu aplicacion y por eso falla con ese numero. Si consigues una implementacion de 64bit puedes tener muchos mas elementos.

Puedes crear una clase matriz que maneje los elementos de forma apropiada cuando llega a los valores de peligro. Perderas performance pero funcionara.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.