Si bien 100 registros parece poca cantidad representarlos algo de tiempo lleva un tiempo, por eso existe el modo virtual
que podria ayudar
Tutorial: Implementar el modo virtual en el control DataGridView de formularios Windows Forms
Para esto asigna en true
la propiedad
DataGridView.VirtualMode Propiedad
Sino el otro camino sera implementar filtros o paginado de los datos para que carguen menos cantidad visualmente en el grid