0

¡Hola!

Estoy intentando graficar mi dataframe. Lo que ocurre es que hay valores extremos que hacen que el gráfico sea completamente ilegible. Pongo 1 ejemplo.

introducir la descripción de la imagen aquí

Añado el código para facilitar:

vis3=sns.lmplot(data=df,x="cantidad_tweets_con_hashtags_neg", y="cantidad_menciones_totales", \
                fit_reg=False, hue="categoria",size=16,aspect=2,
               scatter_kws={"s":120} )

He ido a la documentación de Seaborn para ver si encontraba algo, y solo he visto esto:

outlier_prop : float, optional

Proportion of data believed to be outliers. Used in conjunction with k_depth to determine the number of percentiles to draw. Defaults to 0.007 as a proportion of outliers. Should be in range [0, 1].

Pero no sé si es lo que necesito y tampoco he sabido como aplicarlo. ¿Alguien me puede indicar qué parámetro debo poner y cómo para eliminar los valores extremos del gráfico (sin eliminarlos del DF?)

Popngo datos de ejemplo:

Usuario cantidad_tweets_con_hashtag_neg  cantidad_menciones_totales Categoria
q       1                                2                          Deportista
w       2                                3                          Político
e       4                                5                          Deportista
r       2                                4                          Deportista
t       4                                4                          Cantante
y       134                              143                        Político
u       2                                3                          Deportista
i       4                                6                          Deportista
o       6                                8                          Cantante
p       1                                3                          Cantante

Muchas muchas gracias!!

Un saludo,

2
  • 1
    Me temo que el parámetro outliers de lmplot es sólo para que no tenga en cuenta los valores demasiado extremos a la hora de calcular la recta de regresión. Ya que en tu caso no la usas, ese parámetro no te es útil. Lo que tendrás que hacer será filtrar el dataframe antes para eliminar los valores extremos, lo que puedes hacer comparando cada uno con la media más un número de veces la desviación típica. Si pones datos de ejemplo puedo intentar algo.
    – abulafia
    el 11 nov. 2019 a las 10:15
  • Gracias abulafia. Edito la consulta para agregar datos.
    – Deshume
    el 11 nov. 2019 a las 10:50

1 respuesta 1

0

Con los datos de ejemplo suministrados, si se intenta el plot directo se detecta visualmente un outlier.

vis3=sns.lmplot(data=df,x="cantidad_tweets_con_hashtags_neg", y="cantidad_menciones_totales", \
                fit_reg=False, hue="categoria",size=4,aspect=2,
               scatter_kws={"s":120} )

sale

introducir la descripción de la imagen aquí

Para eliminar los outliers, el parámetro outliers de lmplot no es útil, ya que se usa sólo para eliminar esos valores a la hora de encontrar la recta de regresión, pero no a la hora de plotearlos. Y en tu caso de todos modos no estás pintando la recta de regresión.

Lo que tienes que hacer es filtrar previamente el dataframe para eliminar las filas que tengan valores demasiado extremos. Una forma sencilla de hacerlo es utilizar el método .quantile(q), sobre una columna. Eso te da como resultado un límite, que es un valor por debajo del cual se halla la fracción q de los datos. Por ejemplo, si hacemos q=0.99, para la columna "cantidad_tweets_con_hashtags_neg" sobre los datos de ejemplo, devolvería el valor 122.48, lo que indica que el 99% de los datos de esta columna están por debajo de 122.48. Así pues, si eliminamos los que estén por encima, habremos eliminado los outliers (el .99 puedes cambiarlo por otro valor, según tus necesidades).

El siguiente código hace esto para las dos columnas con datos, y se queda luego con las filas que no tengan outliers en ninguna de esas dos columnas:

q = 0.99
col1 = "cantidad_tweets_con_hashtags_neg"
col2 = "cantidad_menciones_totales"
q1 = df[col1].quantile(q)
q2 = df[col2].quantile(q)
df_filtrado = df[(df[col1] < q1) & (df[col2] < q2)]

Si ploteamos ahora df_filtrado obtenemos:

introducir la descripción de la imagen aquí

1
  • Genial!! Muchas gracias!
    – Deshume
    el 11 nov. 2019 a las 12:18

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.