Brother lo que puedes hacer es traer los registros y luego contarlos, modificare ligeramente tu codigo y listo, seria una solución rápida(Usé la función count() ).
$sql="SELECT * FROM agenda WHERE Fecha = '$Fecha' and Hora = '$Hora'";
$result=mysqli_query $result= mysqli_query($conexionM,$sql);
$data=mysqli_fetch_assoc $data= mysqli_fetch_assoc($result);
$data1= $data['total'];
//Aqui cuentas los resultados de tu consulta
$cantidadResultados = count($data1);
if($cantidadResultados > 3){
echo "<script>if(alert('YA NO HAY CITAS EN ESE HORARIO)){
javascript:history.back();}
else{ javascript:history.back();}</script>";
}
}else{
$query = "INSERT INTO agenda
(No_de_Pieza,Nombre,Representante,Tramite,Fecha,Hora,Correo,Telefono,Despacho,Nacionalidad,Fecha_de_Registro)
VALUES('$No_de_Pieza','$Nombre','$Representante','$Tramite','$Fecha','$Hora','$Correo','$Telefono','$Despacho','$Nacionalidad','$Fecha_de_Registro')";
$resultado=$conexionM->query ($query);
if($resultado){
echo '<script> alert ("LOS REGISTROS SE HAN GUARDADO EXITOSAMENTE.") </script>';
echo "<script>location.href='../registro.php'</script>";
}
else{
echo "<script>if(alert('LOS REGISTROS NO SE GUARDARON'))}else{
echo "<script>if(alert('LOS REGISTROS NO SE GUARDARON')){
javascript:history.back();}
else{ javascript:history.back();}</script>";
}
else{ javascript:history.back();}</script>";
}
}
?>