Si bien 100 registros parece poca cantidad representarlos algo de tiempo lleva un tiempo, por eso existe el `modo virtual` que podria ayudar

[Tutorial: Implementar el modo virtual en el control DataGridView de formularios Windows Forms][1]

Para esto asigna en `true` la propiedad

[DataGridView.VirtualMode Propiedad][2]

Sino el otro camino sera implementar filtros o paginado de los datos para que carguen menos cantidad visualmente en el grid

[Implement Paging DataGridView in Windows Forms (WinForms) Application using C# and VB.Net][3]

como veras usando el datagridview la paginacion de los datos hay que codificarla uno mismo

  [1]: https://docs.microsoft.com/es-es/dotnet/framework/winforms/controls/implementing-virtual-mode-wf-datagridview-control
  [2]: https://docs.microsoft.com/es-es/dotnet/api/system.windows.forms.datagridview.virtualmode?view=netframework-4.8
  [3]: https://www.aspsnippets.com/Articles/Implement-Paging-DataGridView-in-Windows-Forms-WinForms-Application-using-C-and-VBNet.aspx