3

estoy implementando el algoritmo KNN de scikit-learn (python 3) a una base de datos georreferenciada. La bd tiene un total de 11821 registros. A continuación adjunto un código con algunos datos aleatorios pero que dan la misma salida.

"""Ejemplo Indices resultantes del algoritmo KNN"""
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler

path = 'https://raw.githubusercontent.com/juanosalvador/Sample_data_knn/principal/sample_data.csv'

X = pd.read_csv(path)

#Estandarizamos datos
X_scaled = StandardScaler().fit_transform(X)

## KNN AL TERCER VECINO
from sklearn.neighbors import NearestNeighbors

neigh = NearestNeighbors(n_neighbors= 4, metric='euclidean')
nbrs = neigh.fit(X) # X numpy array con dos columnas; Latitud y Longitud
distances_k, indices = nbrs.kneighbors(X)


## Datos Escalados
neigh_scaled = NearestNeighbors(n_neighbors= 4, metric='euclidean')
nbrs_scaled = neigh_scaled.fit(X_scaled) # X numpy array con dos columnas; Latitud y Longitud
distances_k_scaled, indices_scaled = nbrs_scaled.kneighbors(X_scaled)

indices = pd.DataFrame(indices) 
indices_scaled = pd.DataFrame(indices_scaled)

la variable indices devuelve lo siguiente:

resultado para la variable indice del KNN

Donde la columna 0 es el vecino de referencia, y las siguientes columnas son sus tres vecinos más cercanos. Al ordenar de menor a mayor la columna 0 obtengo esto:

indices ordenados de menor a mayor

el registro 5 se repite muchas veces además los registros del 0 al 4 no aparecen, yo me esperaría que el algoritmo knn devolviera en la variable indices algo como esto:

Ejemplo de lo que esperaría del algoritmo KNN, en la variable distancias

Donde la columna 0 es el vecino de referencia y las siguientes sus vecinos más cercanos.

Por qué KNN me entrega índices repetidos y omite algunos?

Esta base de datos contiene puntos que están casi uno encima de otro (muy cercanos), puede que esa sea la razón. También pienso q no debería tomar en cuenta como índice del vecino de referencia la columna cero, tal vez debería tomar la columna de index o Índice para enlazar los registros con el resto de la información. Alguien a pasado por esto?

Como mencionaba anteriormente, la principal razón de obtener índices desordenados y repetidos en la columna 0 (el vecino de referencia) es que los datos están muy cerca, casi uno encima de otro. Entonces si uno quiere usar esa información para algo en específico es necesario tomar en cuenta el detalle de los índices y procesar esa información para obtener buenos resultados. Para el ejemplo, también hice el proceso para datos escalados, la respuesta es igual solo cambian algunos ordenes. Adjunto foto.

Comparación datos escalados y no escalados

Saludos.

3
  • 2
    Hola Juan! Haría falta más información, es decir el código completo con los datos, para poder reproducir lo que estás haciendo. Commented el 6 jul. 2021 a las 7:34
  • Hola Alberto! Gracias por responder, te adjunto un código con una muestra de los datos un poco modificados pero que dan la misma salida. Commented el 9 jul. 2021 a las 15:39
  • El código esta en la pregunta (que está editada). Commented el 9 jul. 2021 a las 15:58

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.