Estoy procesando un excel con OleDbConnection, realizo un Query para obtener algunas celdas exclusivas, posteriormente creo una lista de objetos por cada renglón contenido en el excel.
Una vez que tengo dicha lista se realizan las siguientes acciones
- Verificar que los datos contenidos estén correctos y filtrar una lista de registros validos e inválidos *Mostrar un datatable JS por cada lista, Validos e Inválidos
- Almacenar los registros en BD, lo realizo con un foreach y un query
- Exportar los registros a un Excel, lo realizo con XLWorkbook y la lista de objetos, también intente pasar esa lista a un DataTable
Todo funciona correctamente, sin embargo conlleva mucho tiempo procesar los datos, el excel tiene alrededor de 20 mil registros.
Mi pregunta es:
¿Qué estructura de datos es recomendable para procesar tal cantidad de datos? ¿Usar una lista de objetos es correcto ? ó ¿Es mejor alguna otra estructura? ¿Cómo podría reducir el tiempo que tarda en exportar los registros del excel? ¿Cómo evitar que la pagina se cuelgue al pintar el DataTable con js?
De ante mano muchas gracias.