Skip to main content
se añadieron 291 caracteres en el cuerpo
Origen Enlace

Llevo varios días peleándome con Python intentando dar con una solución para mi problema, pero me veo forzado a recurrir a la comunidad. Antes que nada decir que soy novato en Python. Os presento mi base de datos, la cual leo con pandas para obtener un dataframe. Esta dataframe se ha ordenado en función de la columna "mmsi" y la columna "time"

introducir la descripción de la imagen aquí

Tras una serie de operaciones, mi base de datos queda tal que así:

introducir la descripción de la imagen aquí

Básicamente, estas operaciones han servido para eliminar aquellos barcos (pues los datos son posiciones AIS) cuya velocidad en nudos era mayor que un nudo.

Mi propósito es utilizar estos datos para clustering, principalmente con DBSCAN.

Lo que busco es evitar que un barco solamente, que haya transmitido posiciones muy cercanas entre si durante un largo periodo de tiempo, me genere un cluster por sí mismo.

Para ello, se me había ocurrido comparar dos posiciones separadas en el tiempo (Ej: Aprox dos horas = unos 60 índices de diferencia), y ver a qué distancia se encuentran para ver si supera un umbral.

Ej: si la diferencia es mayor de 1 (millas náuticas) nos interesa esa posición, e ignoraremos las del intervalo 2-59. Es decir, nos quedaríamos con la primera, y la sesenta. El problema es que no se hacer que itere todo el dataframe de esta manera.

Acepto propuestas alternativas para evitar que un solo barco genere un cluster.

Mi intento quedó en lo siguiente:

for i in range(60,len(X)):
if X.loc[i,"mmsi"] == X.loc[i-60,"mmsi"]:
    distancia = distancia_puntos(i,i-60)
    
    if distancia < 1:
        X = X.drop(X.index[i-1:i-59])
        X = X.reset_index(drop=True)     

Llevo varios días peleándome con Python intentando dar con una solución para mi problema, pero me veo forzado a recurrir a la comunidad. Antes que nada decir que soy novato en Python. Os presento mi base de datos, la cual leo con pandas para obtener un dataframe. Esta dataframe se ha ordenado en función de la columna "mmsi" y la columna "time"

introducir la descripción de la imagen aquí

Tras una serie de operaciones, mi base de datos queda tal que así:

introducir la descripción de la imagen aquí

Básicamente, estas operaciones han servido para eliminar aquellos barcos (pues los datos son posiciones AIS) cuya velocidad en nudos era mayor que un nudo.

Mi propósito es utilizar estos datos para clustering, principalmente con DBSCAN.

Lo que busco es evitar que un barco solamente, que haya transmitido posiciones muy cercanas entre si durante un largo periodo de tiempo, me genere un cluster por sí mismo.

Para ello, se me había ocurrido comparar dos posiciones separadas en el tiempo (Ej: Aprox dos horas = unos 60 índices de diferencia), y ver a qué distancia se encuentran para ver si supera un umbral.

Ej: si la diferencia es mayor de 1 (millas náuticas) nos interesa esa posición, e ignoraremos las del intervalo 2-59. Es decir, nos quedaríamos con la primera, y la sesenta. El problema es que no se hacer que itere todo el dataframe de esta manera.

Acepto propuestas alternativas para evitar que un solo barco genere un cluster.

Llevo varios días peleándome con Python intentando dar con una solución para mi problema, pero me veo forzado a recurrir a la comunidad. Antes que nada decir que soy novato en Python. Os presento mi base de datos, la cual leo con pandas para obtener un dataframe. Esta dataframe se ha ordenado en función de la columna "mmsi" y la columna "time"

introducir la descripción de la imagen aquí

Tras una serie de operaciones, mi base de datos queda tal que así:

introducir la descripción de la imagen aquí

Básicamente, estas operaciones han servido para eliminar aquellos barcos (pues los datos son posiciones AIS) cuya velocidad en nudos era mayor que un nudo.

Mi propósito es utilizar estos datos para clustering, principalmente con DBSCAN.

Lo que busco es evitar que un barco solamente, que haya transmitido posiciones muy cercanas entre si durante un largo periodo de tiempo, me genere un cluster por sí mismo.

Para ello, se me había ocurrido comparar dos posiciones separadas en el tiempo (Ej: Aprox dos horas = unos 60 índices de diferencia), y ver a qué distancia se encuentran para ver si supera un umbral.

Ej: si la diferencia es mayor de 1 (millas náuticas) nos interesa esa posición, e ignoraremos las del intervalo 2-59. Es decir, nos quedaríamos con la primera, y la sesenta. El problema es que no se hacer que itere todo el dataframe de esta manera.

Acepto propuestas alternativas para evitar que un solo barco genere un cluster.

Mi intento quedó en lo siguiente:

for i in range(60,len(X)):
if X.loc[i,"mmsi"] == X.loc[i-60,"mmsi"]:
    distancia = distancia_puntos(i,i-60)
    
    if distancia < 1:
        X = X.drop(X.index[i-1:i-59])
        X = X.reset_index(drop=True)     
Origen Enlace

Reducir tamaño del dataset - Posiciones geográficas para clustering

Llevo varios días peleándome con Python intentando dar con una solución para mi problema, pero me veo forzado a recurrir a la comunidad. Antes que nada decir que soy novato en Python. Os presento mi base de datos, la cual leo con pandas para obtener un dataframe. Esta dataframe se ha ordenado en función de la columna "mmsi" y la columna "time"

introducir la descripción de la imagen aquí

Tras una serie de operaciones, mi base de datos queda tal que así:

introducir la descripción de la imagen aquí

Básicamente, estas operaciones han servido para eliminar aquellos barcos (pues los datos son posiciones AIS) cuya velocidad en nudos era mayor que un nudo.

Mi propósito es utilizar estos datos para clustering, principalmente con DBSCAN.

Lo que busco es evitar que un barco solamente, que haya transmitido posiciones muy cercanas entre si durante un largo periodo de tiempo, me genere un cluster por sí mismo.

Para ello, se me había ocurrido comparar dos posiciones separadas en el tiempo (Ej: Aprox dos horas = unos 60 índices de diferencia), y ver a qué distancia se encuentran para ver si supera un umbral.

Ej: si la diferencia es mayor de 1 (millas náuticas) nos interesa esa posición, e ignoraremos las del intervalo 2-59. Es decir, nos quedaríamos con la primera, y la sesenta. El problema es que no se hacer que itere todo el dataframe de esta manera.

Acepto propuestas alternativas para evitar que un solo barco genere un cluster.