Brother lo que puedes hacer es traer los registros y luego contarlos, modificare ligeramente tu codigo y listo, seria una solución rápida(Usé la función count() ).

    $sql="SELECT * FROM agenda WHERE Fecha = '$Fecha' and Hora = '$Hora'";
    $result=mysqli_query($conexionM,$sql);
    $data=mysqli_fetch_assoc($result);
    $data1= $data['total'];
    
    //Aqui cuentas los resultados de tu consulta
    $cantidadResultados = count($data1);
    
    if($cantidadResultados > 3){
        echo "<script>if(alert('YA NO HAY CITAS EN ESE HORARIO)){ 
                                    javascript:history.back();} 
                                    else{ javascript:history.back();}</script>";  
    }
    
    else{
    
    
    
    $query = "INSERT INTO agenda
    (No_de_Pieza,Nombre,Representante,Tramite,Fecha,Hora,Correo,Telefono,Despacho,Nacionalidad,Fecha_de_Registro) 
    
    VALUES('$No_de_Pieza','$Nombre','$Representante','$Tramite','$Fecha','$Hora','$Correo','$Telefono','$Despacho','$Nacionalidad','$Fecha_de_Registro')";
    
    $resultado=$conexionM->query ($query);
    
    if($resultado){
         echo '<script> alert ("LOS REGISTROS SE HAN GUARDADO EXITOSAMENTE.") </script>';
                 echo "<script>location.href='../registro.php'</script>";
    }
    else{
        echo "<script>if(alert('LOS REGISTROS NO SE GUARDARON')){ 
                                    javascript:history.back();} 
                                    else{ javascript:history.back();}</script>";  
    }
    
    }
    ?>