1

Necesito insertar 1 millón de registros en cassandra, estoy usando el driver de datastax, cuento con una clase profesor correctamente mapeada y una lista de profesores, luego mediante el mapper llamo al método save.

Cluster cluster  = Cluster.builder().addContactPoint("MiServer").build();
    Session session = cluster.connect("prueba");
    Mapper<Profesor> mapper = new MappingManager(session).mapper(Profesor.class);
    List<Profesor> profesors = CSVLogic.readAll("data.csv");
    profesors.forEach(mapper::save);

la inserción funciona bien sin embargo el rendimiento no me parece bueno, y quiero saber cuál es la forma mas eficiente para insertar 1 millón de registros desde java

1 respuesta 1

1

El rendimiento suele aumentar si vamos a más bajo nivel, quizá puedas usar algo como BatchStatement y agrupar muchos PreparedStatement. El código sería algo como:

PreparedStatement statement= session.prepare("INSERT INTO people (name,age) VALUES (?,?)");
BoundStatement boundStatement = new BoundStatement(statement);
BatchStatement batchStmt = new BatchStatement();
batchStmt.add(boundStatement.bind("User A", "10"));
batchStmt.add(boundStatement.bind("User B", "12"));
session.execute(batchStmt);

Con un bucle podrías meter todos los datos (o en grupos de unos cuantos miles, al menos).

La idea la he tomado de una pregunta similar en SO en inglés

1
  • Funciona fantásticamente, Muchas Gracias Commented el 15 nov. 2017 a las 3:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.