0

Tengo el siguiente codigo.

read = fiona.open(r"\\pre\data\\PLANTA\URBANA.shp")

    for feat in read:
        corPoligono = feat['geometry']['coordinates']
        poligonoType = feat['geometry']['type']
        idCapaOrigen = feat['id']

Estos 3 datos que obtengo del shape se insertan en una tabla, el problema sucede que si el proceso por algun motivo se detiene cuando vuelvo a procesar en el for vuelvo a procesar los datos que ya estan insertados en la base.

La pregunta es, se pueden filtrar en el for o algun otro metodo los datos ya insertados en la tabla, podria utilizar el campo idCapaOrigen que es unico.

Mi duda surge ya que quisiera evitar leer el dato nuevamente y que el trabajo lo haga MSSQL con un NOT IN o un NOT EXIST ya que el shape contiene una cantidad enorme de datos y leer nuevamente los ya procesados es un nunca acabar.

Espero se entienda la pregunta.

3
  • ¿y no deberías marcar en el esquema de la base de datos que ese atributo es único? Así al tratar de insertar uno repetido la base de datos reportará un error (que seguramente se convertirá en una excepción en python). Otra solución menos eficiente, si quieres hacerlo en el lado python, es ir metiendo los idCapaOrigen que vayas leyendo a un set(), que son muy eficientes a la hora de comprobar if elemento in conjunto:
    – abulafia
    Commented el 20 mar. 2018 a las 11:08
  • Pero volvería a re procesar algo que ya se proceso, quiera saber si existe alguna forma de evitar esto en el for Commented el 20 mar. 2018 a las 11:09
  • me podrias indicar como realizar lo de tu comentario. Commented el 20 mar. 2018 a las 11:10

1 respuesta 1

0

Una solución (aunque no estoy seguro de si sería la más apropiada) seria utilizar el tipo de datos "conjunto" (set()) de python para ir metiendo en él los elementos que ya hayas procesado. Los conjuntos son muy eficientes a la hora de verificar si un elemento ya estaba en ellos (están implementados con tablas hash). Así, en cada iteración de tu bucle, antes de procesar el dato en cuestión miras si el id ya estaba en el conjunto.

Algo como esto:

ya_procesados = set()
for feat in read:
    if feat['id'] in ya_proceados:
       continue   # Te lo saltas
    # En caso contrario se procesa
    corPoligono = feat['geometry']['coordinates']
    poligonoType = feat['geometry']['type']
    idCapaOrigen = feat['id']
    # ...
    # y se añade al conjunto
    ya_procesados.add(idCapaOrigen)

Si el proceso se detiene, obviamente pederías lo que tienes en el conjunto, pero el programa al arrancar podría hacer una consulta a la base de datos para obtener todos los id ya introducidos, y usar su respuesta para inicializar el conjunto ya_procesados.

El set() admite como parámetro una lista, por ejemplo.

4
  • eh realizado una prueba pero no salta el id ya insertado ConexionProyecto.execute(IdOrigenCapa) result_set =ConexionProyecto.fetchone() procesados = set(result_set) pero al recuperar el valor no lo salta Commented el 20 mar. 2018 a las 12:04
  • @Seba79 Imprime el valor de procesados para ver que realmente estás metiendo todos los id ya procesados. Perdona si es una burrada (no uso python para interactuar con bases de datos) pero, ¿no sería fetchall() en vez de fetchone()?
    – abulafia
    Commented el 20 mar. 2018 a las 12:08
  • El resultado con fetchone() es (0, ) ahora si cambio por fetchall() el resultado es [(0, )] pero con el error TypeError: unhashable type: 'pyodbc.Row' Commented el 20 mar. 2018 a las 12:12
  • @Seba79 No sé qué consulta habrás hecho a la base de datos (¿qué valor tiene la variable idOrigenCapa que le pasas a .execute()?) El caso es que tiene muy mala pinta que .fetchall() te devuelva un solo elemento y además con valor 0. Con la consulta apropiada debería devolverte una lista en la que cada elemento es una tupla con los valores seleccionados de la base de datos (en tu caso, ya que sólo necesitas el id, cada una de esas tuplas tendría tamaño cero)
    – abulafia
    Commented el 20 mar. 2018 a las 15:13

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.