Podría obtener los minutos y convertirlos al formato que deseas.
Obtienes los minutos
var resultadoMinutos = fecha2.diff(fecha1, 'minutes');
Y transformas el resultado al formato que desees.
Acá ocupe para eliminar los posibles decimales
Math.trunc()
y para obtener los minutos restantes
resultadoMinutos % 60
Y todo el formateado junto quedaría (agregados los cambios para formato mm y diferencia negativa)
var diferenciaFormateadaMinutos = "";
var diferenciaFormateadaHoras = Math.trunc(resultadoMinutos /60);
if( 9 < (Math.abs(resultadoMinutos) % 60) ){
diferenciaFormateadaMinutos = (Math.abs(resultadoMinutos) % 60);}
else {diferenciaFormateadaMinutos = "0" + (resultadoMinutos % 60);}
console.log(diferenciaFormateadaHoras + ":" + diferenciaFormateadaMinutos )
Y así se vería completo
var fecha1 = moment('2023-05-20 16:00');
var fecha2 = moment('2023-05-21 16:20');
var resultadoMinutos = fecha2.diff(fecha1, 'minutes');
var diferenciaFormateadaMinutos = "";
var diferenciaFormateadaHoras = Math.trunc(resultadoMinutos /60);
if( 9 < (Math.abs(resultadoMinutos) % 60) ){
diferenciaFormateadaMinutos = (Math.abs(resultadoMinutos) % 60);}
else {diferenciaFormateadaMinutos = "0" + (resultadoMinutos % 60);}
console.log(diferenciaFormateadaHoras + ":" + diferenciaFormateadaMinutos )
Ejecutable
var fecha1 = moment('2023-05-20 16:00');
var fecha2 = moment('2023-05-21 16:20');
var resultadoMinutos = fecha2.diff(fecha1, 'minutes');
var diferenciaFormateadaMinutos = "";
var diferenciaFormateadaHoras = Math.trunc(resultadoMinutos /60);
if( 9 < (Math.abs(resultadoMinutos) % 60) ){
diferenciaFormateadaMinutos = (Math.abs(resultadoMinutos) % 60);}
else {diferenciaFormateadaMinutos = "0" + (resultadoMinutos % 60);}
console.log(diferenciaFormateadaHoras + ":" + diferenciaFormateadaMinutos )
<script src="https://MomentJS.com/downloads/moment.js"></script>
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Document</title>
</head>
<body>