1

Estoy tratando de migrar los datos de una tabla a otra en SQL Server. Las tablas son idénticas en cuanto su estructura, solo que la tabla original con datos tiene cerca de 3 millones de registros, y la tabla a la que quiero copiarlos tiene cero.

Para que no demore tanto el proceso y se sature el servidor, intenté pasar de 100 mil en 100 mil con un between más o menos así:

INSERT INTO MYTABLASINDATA(CAMPO1,CAMPO2,CAMPO3,...,CAMPON)
SELECT (CAMPO1,CAMPO2,CAMPO3,...,CAMPON) FROM MYTABLACONDATA
WHERE CAMPOID BETWEEN 1 AND 100000 ---> luego cambiaba 100001 and 200000 y así sucesivamente.

El problema es que veo que: al inicio no demora mucho, básicamente los primeros 500mil los paso en segundos, después empezó a demorar 3m, 5m, 7m, 9m. Después de pasar los 2 millones superaba los 12m después 14m al llegar a 2400000 17m, a los 2500000 mas de media hora, a los 2600000 casi 2horas y después simplemente nunca me cargó. Pasaron horas y nada, así que tuve que detenerla. Lo peor es que cuando consultaba si había pasado en esta ultima con un select count no había pasado nada.

¿Alguien me puede decir qué puede estar fallando, o cómo hacer que no me demore tanto a medida que voy pasando los datos?, porque supongo que debe ser un problema de lectura o algo así.

Nota: Cada insert lo ejecutaba ni bien terminaba de ejecutarse el otro. Aproximadamente unos 15 a 20 segundos de diferencia.

3
  • por qué no usas una herramienta de traspaso masivo como Integration Services?. Si no, trata de hacerlo por batchs independiente de algún id?
    – Lamak
    Commented el 4 nov. 2020 a las 15:17
  • Pues estás haciendo un offset, así que tiene que arrancar de la primera fila, contar N y luego entregar el resultado, aumentando N cada vez. ¿No te parece lógico que el incremento en el tiempo sea lineal de esta forma?
    – Alfabravo
    Commented el 4 nov. 2020 a las 15:32
  • @Lamak Por el momento no estoy usando esa herramienta. Y eso de los batchs aun no lo manejo bien. Recién estoy aprendiendo. Me falto poner el id antes del between. También indicar que es identity y al ser primary key tiene un índice clustered.
    – Abel
    Commented el 5 nov. 2020 a las 1:21

2 respuestas 2

2

Primero que todo, te recomendaría usar alguna herramienta de traspaso masivo de información, como podría ser Integration Services.

Si quieres hacerlo en SQL con un INSERT, te recomiendo que uses batchs sin elegir las filas con un BETWEEN. Prueba lo siguiente:

WHILE 1=1
BEGIN
    INSERT INTO dbo.MiTablaSinData(Col1,Col2,....Coln)
    SELECT TOP(100000)
    FROM dbo.MiTablaConData c
    WHERE NOT EXISTS(SELECT 1 FROM dbo.MiTablaSinData
                     WHERE id = c.id);

    IF @@ROWCOUNT < 100000 BREAK;
END
4
  • Muy bien, así va a insertar los mismos 100000 datos por toda la eternidad. Commented el 4 nov. 2020 a las 15:36
  • jaja, toda la razón, me faltó un pedazo de código acá
    – Lamak
    Commented el 4 nov. 2020 a las 15:37
  • Con la edición, la velocidad de la consulta requiere que haya índices clustered en el id de ambas tablas. De otra forma, se hará lento conforme avance el proceso. Commented el 4 nov. 2020 a las 15:40
  • No me queda claro si eso existe o no, pero es una alternativa. Acá ya queda que el op pruebe de qué manera obtiene mayor performance
    – Lamak
    Commented el 4 nov. 2020 a las 15:42
1

Lo primero que hay que evaluar es el modelo de recuperación de la base de datos. 3 millones no son muchas filas para un servidor bien configurado.

Al insertar en una tabla vacía, tenemos la posibilidad de usar operaciones con un log reducido. Pero para eso, necesitamos que tabla esté bloqueada en su totalidad, no tenga índices secundarios (solo el clustered) y el modelo de recuperación sea simple o bulk-logged. Si se está usando el modelo de recuperación completo, es conveniente tomar un respaldo del log antes de iniciar la operación y cambiar el modelo a bulk-logged para poder regresarlo a full al terminar la operación.

Con los requisitos antes mencionados, solo necesitamos copiar la información así:

INSERT INTO MYTABLASINDATA WITH( TABLOCKX) 
       (CAMPO1,CAMPO2,CAMPO3,....CAMPON)
SELECT CAMPO1,CAMPO2,CAMPO3,...CAMPON
FROM MYTABLACONDATA;

Si tienes índices secundarios, es importante eliminarlos antes de pasar la información y regenerarlos al terminar.

7
  • 1
    Habría que evaluar si conviene eliminar los índices o simplemente deshabilitarlos y volverlos a habilitar a posteriori
    – Lamak
    Commented el 4 nov. 2020 a las 15:36
  • 1
    Si se quiere tener una operación mínimamente logueada, es completamente necesario eliminar los índices. Commented el 4 nov. 2020 a las 15:37
  • Pero eso no era requisito de la pregunta, no?. El op debería probar ambas alternativas para ver si el proceso de eliminar índices y volver a crearlos le cuesta mayor tiempo que deshabilitar/habilitar. No se puede responder cuál será más rápido de antemano
    – Lamak
    Commented el 4 nov. 2020 a las 15:40
  • 1
    Una operación mínimamente logueada es mucho más rápida que una completamente logueada. Por eso es que eliminar los índices forma parte de la solución para incrementar la velocidad. Commented el 4 nov. 2020 a las 15:42
  • Eso lo tengo claro, el tema es lo que demoraría siempre crear el índice de cero. Como digo, el op tiene que probar
    – Lamak
    Commented el 4 nov. 2020 a las 15:44

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.