Si bien 100 registros parece poca cantidad representarlos algo de tiempo lleva un tiempo, por eso existe el modo virtual
que podria ayudar
Tutorial: Implementar el modo virtual en el control DataGridView de formularios Windows Forms
Para esto asigna en true
la propiedad
DataGridView.VirtualMode Propiedad
Sino el otro camino sera implementar filtros o paginado de los datos para que carguen menos cantidad visualmente en el grid
Implement Paging DataGridView in Windows Forms (WinForms) Application using C# and VB.Net
como veras usando el datagridview la paginacion de los datos hay que codificarla uno mismo