primero de todo pedir disculpas porque no soy especialista en backend. Soy un pobre developer encargándome de realizar un backend usando springboot (JPA + Hibernate).
Mi problema es el siguiente, tengo una entidad Schema y una entidad Feature. Y están relacionadas OnetoMany.
Debo leer un geojson que recibo como inputStream, desearizarlo y separar las propiedades por una parte y las geometrías por otro. Un fichero geojson es un array de features compuesto básicamente por esas dos propiedades: propiedades y geometrías. Aquí os dejo un enlace de un fichero geojson para que veáis como es o por si no me explico bien.
Lo tengo implementado pero un fichero de 18MG con 39000 features tarda 15 minutos y no sé si lo estoy haciendo bien porque tarda demasiado.
Me podéis echar una mano mirando como lo tengo hecho y aconsejarme en:
- cómo podría optimizar el código??
- Un dozer ayudaría?? Cómo implemento el dozer?
- Si os dais cuenta, creo una scheme con un arraylist de feaures vacías y luego lo actualizo con las features que asocio al scheme. Cómo podría hacerlo bien??
Gracias
@Service
@Transactional
public class SchemeService extends DaoCrudService {
@Autowired
private SchemeDao schemeDao;
@Autowired
private FeatureDao featureDao;
public <T> T createScheme(final String creatorId, final String name, final String description, final InputStream inputStream, final String attachmentId, final String filePath, final Class<T> targetVOClass) {
Scheme scheme = createScheme(creatorId, name, description, inputStream, attachmentId, filePath);
return getDozerService().map(scheme, targetVOClass);
}
protected Scheme createScheme(final String creatorId, final String name, final String description, final InputStream inputStream, final String attachmentId, final String filePath) {
List<Feature> features = new ArrayList<>();
// 1. Create TableID
String tableId = generateTableId(name);
// 2. Create Scheme
Scheme scheme = new Scheme();
scheme.setCreator(creatorId);
scheme.setName(name);
scheme.setDescription(description);
scheme.setTableId(tableId);
scheme.setFeatures(features);
scheme.setAttachmentId(attachmentId);
scheme.setFilePath(filePath);
createScheme(scheme);
//3. Deserialeze GEOSJON
DeserializeJSONFileToPropsAndGeom.initialize(inputStream);
List<String> properties = DeserializeJSONFileToPropsAndGeom.getProperties();
List<String> geometries = DeserializeJSONFileToPropsAndGeom.getGeometries();
// 4. CREATE FEATURES
for (int i=0; i<geometries.size(); i++) {
Feature feature = new Feature();
feature.setCreator(creatorId);
feature.setScheme(scheme);
feature.setProperty(properties.get(i));
feature.setGeometry(geometries.get(i));
featureDao.create(feature);
features.add(feature);
}
// 5. UPDATE SCHEME WITH FEATURES
scheme.setFeatures(features);
schemeDao.update(scheme);
return scheme;
}
protected void createScheme(final Scheme scheme) {
schemeDao.create(scheme);
}
public <T> T readScheme(final SchemeCriteria schemeCriteria, final Class<T> targetClassVO) {
return read(schemeDao, schemeCriteria, targetClassVO);
}
public void deleteScheme(final SchemeCriteria schemeCriteria) {
delete(schemeDao, schemeCriteria);
}
public <T> List<T> findSchemes(final SchemeCriteria schemeCriteria, final Class<T> targetVOClass) {
return find(schemeDao, schemeCriteria, targetVOClass);
}
public <T> ListWithCountVO<T> findSchemesWithCount(final SchemeCriteria schemeCriteria, final Class<T> targetVOClass) {
return findWithCount(schemeDao, schemeCriteria, targetVOClass);
}
}
Scheme
@Entity(name = "Scheme")
@Table(name = "maps_scheme")
@Access(AccessType.FIELD)
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class Scheme extends BaseEntityActivable implements Serializable {
private static final long serialVersionUID = 1L;
@Id
@GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "SCHEME_SEQ_GEN")
@SequenceGenerator(name = "SCHEME_SEQ_GEN", sequenceName = "ddbb_seq_scheme", allocationSize = 1)
@Column(name = "scheme_id")
private Long schemeId;
@Column(name = "name", nullable = false)
@NotEmpty(message = ErrorConstants.NAME_CANT_BE_EMPTY)
private String name;
@Column(name = "description")
private String description;
@Column(name = "table_id", nullable = false)
@NotEmpty(message = ErrorConstants.TABLE_ID_CANT_BE_EMPTY)
private String tableId;
@OneToMany(fetch = FetchType.LAZY, mappedBy = "scheme")
@LazyCollection(LazyCollectionOption.EXTRA)
private List<Feature> features = new ArrayList<>();
@Column(name = "attachment_id", nullable = false)
@NotEmpty(message = ErrorConstants.ATTACHMENT_ID_CANT_BE_EMPTY)
private String attachmentId;
@Column(name = "file_path", nullable = false)
@NotEmpty(message = ErrorConstants.TABLE_ID_CANT_BE_EMPTY)
private String filePath;
}
FEATURE
@Entity(name = "Feature")
@Table(name = "maps_feature")
@Access(AccessType.FIELD)
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
public class Feature extends BaseEntityActivable implements Serializable {
private static final long serialVersionUID = 1L;
@Id
@GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "FEATURE_SEQ_GEN")
@SequenceGenerator(name = "FEATURE_SEQ_GEN", sequenceName = "ddbb_seq_feature", allocationSize = 1)
@Column(name = "feature_id")
private Long featureId;
@ManyToOne(fetch = FetchType.LAZY, cascade = CascadeType.ALL)
@JoinColumn(name = "scheme_id", nullable = false, referencedColumnName = "scheme_id", foreignKey = @ForeignKey(name = "fk_feature_scheme_1"))
private Scheme scheme;
@Type(type = "jsonb")
@Column(name = "property", columnDefinition = "jsonb", nullable = false)
@NotEmpty(message = ErrorConstants.PROPERTY_CANT_BE_EMPTY)
private String property;
@Type(type = "jsonb")
@Column(name = "geometry", columnDefinition = "jsonb", nullable = false)
@NotEmpty(message = ErrorConstants.GEOMETRY_CANT_BE_EMPTY)
private String geometry;
}
SOLUCIÓN:
Un amigo de la facultad me ha explicado cómo resolverlo:
estas leyendo del archivo todas las features (39k), las metes en memoria y luego guardas el schema entero a la DB. Es lento porque es gordo.
para algo asi necesitas hacer streaming del archivo json y vas metiendo registro a registro en la DB con SQL a pelo
busca algo asi https://stackoverflow.com/questions/9390368/java-best-approach-to-parse-huge-extra-large-json-file
https://sites.google.com/site/gson/streaming
Pasa de hibernate + jpa y usa jdbc template, que es SQL a pelo. https://spring.io/guides/gs/relational-data-access/
Piensa que tu DB tiene muchas rows y no es eficiente con un modelo tipo JPA+Hibernate, porque aunque sea lazy en cuanto quitas los registros se lo trae todo.
hibernate.spatial
(hibernatespatial.org/documentation/documentation) que quizás pueda ser de utilidad.