Yo lo solvento forzando la asignación de la altura del ListView
cuando un elemnto con scroll se encuentra dentro de otro, como ejemplo un nestedScrollView
el height del listView
solo se asigna a la altura del ítem a mostrar.
Aquí hay una respuesta relacionada https://es.stackoverflow.com/a/10956/2230