0

Actualmente trabajo con un proceso de "Carga masiva" a SQL-Server el proceso consiste en extraer los registros de un archivo Excel(aprox. 4 mil - 7 mil registros) y posteriormente insertarlos en una base de datos en realidad todo funciona bien.

Mi problema es el tiempo de ejecución, ya que por cada registro del Excel, ejecuto un SP que inserta a la base de datos, así que me pregunto ¿Existe alguna manera de pasar todos los datos al motor de base de datos y que sea este quien se encargue de las inserciones? no sé por decir pasarle una lista de los objetos a insertar y que sea el motor de la base de datos quien ejecute directamente los inserts y no el proyecto.

2
  • 2
    averiguaste sobre bulk insert? tambien en algunos casos hay que desactivar indices u otras cosas para que no re calcule todo en cada insert...
    – gbianchi
    Commented el 30 abr. 2020 a las 16:50
  • 1
    Busca información sobre el uso de SSIS. También puedes usar el Asistente para importación y exportación de SQL Server. Commented el 30 abr. 2020 a las 19:06

1 respuesta 1

1

Si el motor de la base de datos, tiene posibilidades de acceso al fichero de excel, una de las maneras más efectivas, es entregarle el control al propio Sql server para que "dialogue" con Excel a través de un proveedor.

Esto se puede hacer de 4 maneras diferentes. (Linked Server, OpenQuery, OpenDataSource y OpenRowSet).

Mi elección es: OPENROWSET

Lo primero, es tener el conector para que sql server hable con excel.

EXEC sys.sp_enum_oledb_providers

En la lista que te devuelve tienes que buscar el Microsoft.Ace.OLEDB.12.0, siempre en función de la versión de excel. (version 32x o 64x)

Si no lo tienes lo puedes descargar desde la web oficial

Componente redistribuible del motor de base de datos de Microsoft Access

Una vez el componente esta instalado, hay que permitirle al Sql que pueda ejecutar consultas remotas.

EXEC sp_configure 'Show Advanced', 1
RECONFIGURE
GO
EXEC sp_configure 'Ad hoc dis', 1
RECONFIGURE
GO
EXEC master.dbo.sp_MSset_oledb_prop N'Microsoft.ACE.OLEDB.12.0', N'AllowInProcess', 1
GO
EXEC master.dbo.sp_MSset_oledb_prop N'Microsoft.ACE.OLEDB.12.0', N'DynamicParameters', 1
GO

Cuando el servidor esta preparado.

Creo un excel con 7000 filas y 4 columnas.

Excel imagen

El libro se llama Ejemplo y la hoja Sheet1

SELECT * FROM OPENROWSET( 'Microsoft.ACE.OLEDB.12.0' ,'Excel 12.0;Database=d:\Temp\Excel\Ejemplo.xlsx;HDR=YES',[Sheet1$]) XT

Resultado

Nota: Es muy importante, que a este nivel, tu sql server habla con el proveedor de datos a nivel de hoja de excel y no de libro.

La carga de 7000 filas en Sql server de esta manera, ocupa medio segundo.

SET STATISTICS TIME ON;
  SELECT * FROM OPENROWSET(
    'Microsoft.ACE.OLEDB.12.0'
    ,'Excel 12.0;Database=d:\Temp\Excel\Ejemplo.xlsx;HDR=YES',[Sheet1$]) XT
SET STATISTICS TIME OFF;


(7000 filas afectadas)

 Tiempos de ejecución de SQL Server:
   Tiempo de CPU = 250 ms, tiempo transcurrido = 576 ms.

Hora de finalización: 2020-05-03T09:54:37.6893279+02:00

Si aumento las filas (22.000) el coste en procesamiento es mínimo.

SET STATISTICS TIME ON;
  SELECT * FROM OPENROWSET(
    'Microsoft.ACE.OLEDB.12.0'
    ,'Excel 12.0;Database=d:\Temp\Excel\Ejemplo.xlsx;HDR=YES',[Sheet1$]) XT
SET STATISTICS TIME OFF;


(22045 filas afectadas)

 Tiempos de ejecución de SQL Server:
   Tiempo de CPU = 719 ms, tiempo transcurrido = 1559 ms.

Eso si, observando el mensaje, me ha devuelto 22045 filas, porque yo inserte algunas que luego borre, pero el las tiene por tanto hay que tener en cuenta que te pueden venir como null

Resultado

Luego el resultado de la query del proveedor, que en el ejemplo se llama xt lo puedes tratar como a cualquier conjunto de datos, y realizar las combinaciones o inserciones que quieras.

create table dbo.CargaExcel
             (
             id                int identity(1, 1) primary key
           , origen            varchar(100)
           , numero1           int
           , caracter          char(1)
           , fecha             datetime
           , fechaModificacion datetime2
             );

Con la tabla destino creada.

With cte(col1
       , col2
       , col3
       , col4)
     AS (SELECT *
                FROM OPENROWSET('Microsoft.ACE.OLEDB.12.0', 'Excel 12.0;Database=d:\Temp\Excel\Ejemplo.xlsx;HDR=YES', Sheet1$) AS XT)
     INSERT INTO dbo.CargaExcel(origen
                              , numero1
                              , caracter
                              , fecha
                              , fechaModificacion)
     select c.col1 as Origen
          , c.col2 as numero1
          , c.col3 as Caracter
          , CAST(c.col4 as datetime) as fecha
          , getdate() as fechaModificacion
            from cte AS c
        where c.col1 is not null;

Resultados

select top (10) *
       from dbo.CargaExcel
order by fecha desc;

Resultados

OPENROWSET

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.