estoy implementando el algoritmo KNN de scikit-learn (python 3) a una base de datos georreferenciada. La bd tiene un total de 11821 registros. A continuación adjunto un código con algunos datos aleatorios pero que dan la misma salida.
"""Ejemplo Indices resultantes del algoritmo KNN"""
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
path = 'https://raw.githubusercontent.com/juanosalvador/Sample_data_knn/principal/sample_data.csv'
X = pd.read_csv(path)
#Estandarizamos datos
X_scaled = StandardScaler().fit_transform(X)
## KNN AL TERCER VECINO
from sklearn.neighbors import NearestNeighbors
neigh = NearestNeighbors(n_neighbors= 4, metric='euclidean')
nbrs = neigh.fit(X) # X numpy array con dos columnas; Latitud y Longitud
distances_k, indices = nbrs.kneighbors(X)
## Datos Escalados
neigh_scaled = NearestNeighbors(n_neighbors= 4, metric='euclidean')
nbrs_scaled = neigh_scaled.fit(X_scaled) # X numpy array con dos columnas; Latitud y Longitud
distances_k_scaled, indices_scaled = nbrs_scaled.kneighbors(X_scaled)
indices = pd.DataFrame(indices)
indices_scaled = pd.DataFrame(indices_scaled)
la variable indices devuelve lo siguiente:
Donde la columna 0 es el vecino de referencia, y las siguientes columnas son sus tres vecinos más cercanos. Al ordenar de menor a mayor la columna 0 obtengo esto:
el registro 5 se repite muchas veces además los registros del 0 al 4 no aparecen, yo me esperaría que el algoritmo knn devolviera en la variable indices algo como esto:
Donde la columna 0 es el vecino de referencia y las siguientes sus vecinos más cercanos.
Por qué KNN me entrega índices repetidos y omite algunos?
Esta base de datos contiene puntos que están casi uno encima de otro (muy cercanos), puede que esa sea la razón. También pienso q no debería tomar en cuenta como índice del vecino de referencia la columna cero, tal vez debería tomar la columna de index o Índice para enlazar los registros con el resto de la información. Alguien a pasado por esto?
Como mencionaba anteriormente, la principal razón de obtener indices desordenados y repetidos en la columna 0 (el vecino de referencia) es que los datos están muy cerca, casi uno encima de otro. Entonces si uno quiere usar esa información para algo en específico es necesario tomar en cuente el detalle de los índices y procesar esa información para obtener buenos resultados. Para el ejemplo, también hice el proceso para datos escalados, la respuesta es igual solo cambian algunos ordenes. Adjunto foto.
Saludos.