supongo que usaste la paginación normal de Angular Material, por eso solo te muestra los primeros 50 registros.
En la documentación de Angular Material: Angular Material Tablas
En los ejemplos viene uno en específico que te puede ayudar en tu caso:
De igual forma esta el enlace a Stackblitz con un Ejemplo