Puedes usar un stream para leer el fichero directamente como una colección de bytes y procesarlo con un DigestInputStream
try (InputStream is = Files.newInputStream(Paths.get("file.txt"));
DigestInputStream dis = new DigestInputStream(is, mdHashmd5)) {
while (digestInputStreamdis.read() != -1) {
// vacío
}
}
byte[] digest = mdHashmd5.digest();