1

primero de todo pedir disculpas porque no soy especialista en backend. Soy un pobre developer encargándome de realizar un backend usando springboot (JPA + Hibernate).

Mi problema es el siguiente, tengo una entidad Schema y una entidad Feature. Y están relacionadas OnetoMany.

Debo leer un geojson que recibo como inputStream, desearizarlo y separar las propiedades por una parte y las geometrías por otro. Un fichero geojson es un array de features compuesto básicamente por esas dos propiedades: propiedades y geometrías. Aquí os dejo un enlace de un fichero geojson para que veáis como es o por si no me explico bien.

Lo tengo implementado pero un fichero de 18MG con 39000 features tarda 15 minutos y no sé si lo estoy haciendo bien porque tarda demasiado.

Me podéis echar una mano mirando como lo tengo hecho y aconsejarme en:

  • cómo podría optimizar el código??
  • Un dozer ayudaría?? Cómo implemento el dozer?
  • Si os dais cuenta, creo una scheme con un arraylist de feaures vacías y luego lo actualizo con las features que asocio al scheme. Cómo podría hacerlo bien??

Gracias

@Service
@Transactional
public class SchemeService extends DaoCrudService {

    @Autowired
    private SchemeDao schemeDao;

    @Autowired
    private FeatureDao featureDao;

    public <T> T createScheme(final String creatorId, final String name, final String description, final InputStream inputStream, final String attachmentId, final String filePath, final Class<T> targetVOClass) {
        Scheme scheme = createScheme(creatorId, name, description, inputStream, attachmentId, filePath);
        return getDozerService().map(scheme, targetVOClass);
    }

    protected Scheme createScheme(final String creatorId, final String name, final String description, final InputStream inputStream, final String attachmentId, final String filePath) {   

        List<Feature> features = new ArrayList<>();

        // 1. Create TableID
        String tableId = generateTableId(name);
        // 2. Create Scheme
        Scheme scheme = new Scheme();
        scheme.setCreator(creatorId);
        scheme.setName(name);
        scheme.setDescription(description);
        scheme.setTableId(tableId);
        scheme.setFeatures(features);
        scheme.setAttachmentId(attachmentId);
        scheme.setFilePath(filePath);
        createScheme(scheme);

        //3. Deserialeze GEOSJON
        DeserializeJSONFileToPropsAndGeom.initialize(inputStream);
        List<String> properties = DeserializeJSONFileToPropsAndGeom.getProperties();
        List<String> geometries = DeserializeJSONFileToPropsAndGeom.getGeometries();

        // 4. CREATE FEATURES
        for (int i=0; i<geometries.size(); i++) {
            Feature feature = new Feature();
            feature.setCreator(creatorId);
            feature.setScheme(scheme);
            feature.setProperty(properties.get(i));
            feature.setGeometry(geometries.get(i));
            featureDao.create(feature);
            features.add(feature);
        }
        // 5. UPDATE SCHEME WITH FEATURES
        scheme.setFeatures(features);
        schemeDao.update(scheme);
        return scheme;
    }

    protected void createScheme(final Scheme scheme) {
        schemeDao.create(scheme);
    }

    public <T> T readScheme(final SchemeCriteria schemeCriteria, final Class<T> targetClassVO) {
        return read(schemeDao, schemeCriteria, targetClassVO);
    }

    public void deleteScheme(final SchemeCriteria schemeCriteria) {
        delete(schemeDao, schemeCriteria);  
    }

    public <T> List<T> findSchemes(final SchemeCriteria schemeCriteria, final Class<T> targetVOClass) {
        return find(schemeDao, schemeCriteria, targetVOClass);
    }

    public <T> ListWithCountVO<T> findSchemesWithCount(final SchemeCriteria schemeCriteria, final Class<T> targetVOClass) {
        return findWithCount(schemeDao, schemeCriteria, targetVOClass);
    }

}

Scheme

@Entity(name = "Scheme")
@Table(name = "maps_scheme")
@Access(AccessType.FIELD)
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class Scheme extends BaseEntityActivable implements Serializable {

    private static final long serialVersionUID = 1L;

    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "SCHEME_SEQ_GEN")
    @SequenceGenerator(name = "SCHEME_SEQ_GEN", sequenceName = "ddbb_seq_scheme", allocationSize = 1)
    @Column(name = "scheme_id")
    private Long schemeId;

    @Column(name = "name", nullable = false)
    @NotEmpty(message = ErrorConstants.NAME_CANT_BE_EMPTY)
    private String name;

    @Column(name = "description")
    private String description;

    @Column(name = "table_id", nullable = false)
    @NotEmpty(message = ErrorConstants.TABLE_ID_CANT_BE_EMPTY)
    private String tableId;

    @OneToMany(fetch = FetchType.LAZY, mappedBy = "scheme")
    @LazyCollection(LazyCollectionOption.EXTRA)
    private List<Feature> features = new ArrayList<>();

    @Column(name = "attachment_id", nullable = false)
    @NotEmpty(message = ErrorConstants.ATTACHMENT_ID_CANT_BE_EMPTY)
    private String attachmentId;

    @Column(name = "file_path", nullable = false)
    @NotEmpty(message = ErrorConstants.TABLE_ID_CANT_BE_EMPTY)
    private String filePath;

}

FEATURE

@Entity(name = "Feature")
@Table(name = "maps_feature")
@Access(AccessType.FIELD)
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class Feature extends BaseEntityActivable implements Serializable {

    private static final long serialVersionUID = 1L;

    @Id
    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "FEATURE_SEQ_GEN")
    @SequenceGenerator(name = "FEATURE_SEQ_GEN", sequenceName = "ddbb_seq_feature", allocationSize = 1)
    @Column(name = "feature_id")
    private Long featureId;

    @ManyToOne(fetch = FetchType.LAZY, cascade = CascadeType.ALL)
    @JoinColumn(name = "scheme_id", nullable = false, referencedColumnName = "scheme_id", foreignKey = @ForeignKey(name = "fk_feature_scheme_1"))
    private Scheme scheme;

    @Type(type = "jsonb")
    @Column(name = "property", columnDefinition = "jsonb", nullable = false)
    @NotEmpty(message = ErrorConstants.PROPERTY_CANT_BE_EMPTY)
    private String property;

    @Type(type = "jsonb")
    @Column(name = "geometry", columnDefinition = "jsonb", nullable = false)
    @NotEmpty(message = ErrorConstants.GEOMETRY_CANT_BE_EMPTY)
    private String geometry;

}

SOLUCIÓN:

Un amigo de la facultad me ha explicado cómo resolverlo:

estas leyendo del archivo todas las features (39k), las metes en memoria y luego guardas el schema entero a la DB. Es lento porque es gordo.

para algo asi necesitas hacer streaming del archivo json y vas metiendo registro a registro en la DB con SQL a pelo

busca algo asi https://stackoverflow.com/questions/9390368/java-best-approach-to-parse-huge-extra-large-json-file

https://sites.google.com/site/gson/streaming

Pasa de hibernate + jpa y usa jdbc template, que es SQL a pelo. https://spring.io/guides/gs/relational-data-access/

Piensa que tu DB tiene muchas rows y no es eficiente con un modelo tipo JPA+Hibernate, porque aunque sea lazy en cuanto quitas los registros se lo trae todo.

5
  • No he usado nunca Hibernate, por lo que no puedo ayudarte en profundidad. Lo primero que haría es identificar si tienes un cuello de botella. ¿Qué operación es la que está demorándose tanto? Por otro lado veo que existe hibernate.spatial (hibernatespatial.org/documentation/documentation) que quizás pueda ser de utilidad. Commented el 28 nov. 2019 a las 17:28
  • Gracias por tu ayuda.. el cuello de botella se ve que está que guardo en memoria la info del geojson. Según me ha explicado un amigo debo hacer streaming del fichero e insertarlo a pelo con sql.
    – Javier
    Commented el 29 nov. 2019 a las 8:13
  • Me alegro que hayas encontrado la solución. Sólo un apunte, no debes añadir la solución en la pregunta, considera crear una respuesta con la solución. No pasa nada por contestar tu propia pregunta. Commented el 29 nov. 2019 a las 10:31
  • Y cómo hago eso?? Respondiendo a mi pregunta? He publicado otra pregunta porque lo he implementado pero no se como pasarle los parámetros: es.stackoverflow.com/questions/312498/…
    – Javier
    Commented el 29 nov. 2019 a las 10:39
  • lo he solucionado !!
    – Javier
    Commented el 29 nov. 2019 a las 11:50

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.