Pues el problema que tienes, es que la forma de filtrar los outliers, no es correcta. Te voy explicando por partes:
¿Qué significa 1e7?
Es una notación científica para números grandes, en tu caso, significa que tienes un uno, seguido de siete ceros. Es decir 10M -> 10.000.000 = diez millones ( M significa 10^6 == 1.000.000 )
Con esto ya nos damos cuenta de que algo en los datos no está bien en tus gráficas departamentos y casas ya que tienes la mayoría de los valores entre 0 y 1, y tienes algún valor cercano a los 10 millones.
¿Por qué el box plot aparece tan feo (desprolijo)?
Tu boxplot es correcto, aparece feo simplemente porque los valores entre cada boxplot son muy lejanos entre si, debido a que no has limpiado bien los outliers.
Como no pones más información, ni código no se que framework estás usando para graficar, pero en matplotlib conplt.ylim(0, 1)
pones los limites al eje y entre dos números que tú quieras, en este caso yo he escogido 0 y 1
¿Cómo limpiar correctamente los outliers?
La técnica que usas no es adecuada, porque es poco precisa.
Hay muchas técnicas al respecto, una de las más usadas es la función z_score, que la puedes encontrar en la biblioteca scipy concretamente en scipy.stats.zscore
. Aunque como es muy sencilla voy a hacerla y explicarla, yo desde cero.
z score:
- Se calcula la media de un conjunto de datos y la desviación típica
- A cada dato, le restamos la media y el resultado de este cálculo le dividimos la desviación típica
- Fijamos un umbral (que por convención siempre suele ser 3, pero se puede cambiar) y todos los datos que superen el umbral anterior son descartados, por ser Outliers.
En resumen lo que estamos haciendo es, descartar todos aquellos datos que al restarle la media, su desviación típica es tres veces mayor a la desviación típica del conjunto de datos. Esta si es una buena forma de quitar los outliers. Aquí te dejo la función y el ejemplo:
import numpy as np
#Creamoss un array, donde vemos que hay un outlier, el 4.33
datos = np.array([ 0.79, 0.07, 4.33, 0.43, 0.78, 0.80,
0.19, 0.63, 0.65, 0.10, 0.05])
#Creamos la función z_score
def z_score(datos, umbral):
datos_limpios = []
media = np.mean(datos)
desviacion_tipica = np.std(datos)
for i in datos:
dato = abs(abs(i)- abs(media))/desviacion_tipica
if dato < umbral:
datos_limpios.append(i)
return np.array(datos_limpios)
z_score(datos, 3)
#Vemos como nos ha quitado el 4.300
En Ocasiones tenemos incluso que implementarla varias veces e ir limpiando los outliers poco a poco:
datos = np.array([ 0.79, 0.07, 4.33, 0.43, 0.78, 0.80,
0.19, 0.63, 0.65, 0.10, 0.05, 300.])
datos = z_score(datos, 3)
datos = z_score(datos, 3)
Aquí lo que ocurre es que hemos añadido un 300 al final, por lo que el 4.33 no lo considera un outlier, aunque claramente para nosotros lo es. Entonces lo que hacemos es aplicar z_score dos veces, una primera vez y nos quita el 300, y después lo aplicamos una segunda vez y nos quita el 4.33.