Brother lo que puedes hacer es traer los registros y luego contarlos, modificare ligeramente tu codigo y listo, seria una solución rápida(Usé la función count() ).

 

        $sql="SELECT * FROM agenda WHERE Fecha = '$Fecha' and Hora = '$Hora'";
        $result= mysqli_query($conexionM,$sql);
        $data= mysqli_fetch_assoc($result);
        $data1= $data['total'];
    
        //Aqui cuentas los resultados de tu consulta
        $cantidadResultados = count($data1);
    
        if($cantidadResultados > 3){

            echo "<script>if(alert('YA NO HAY CITAS EN ESE HORARIO)){ 
            javascript:history.back();} 
            else{ javascript:history.back();}</script>"; 
 
        }else{
    
            $query = "INSERT INTO agenda (No_de_Pieza,Nombre,Representante,Tramite,Fecha,Hora,Correo,Telefono,Despacho,Nacionalidad,Fecha_de_Registro)  VALUES('$No_de_Pieza','$Nombre','$Representante','$Tramite','$Fecha','$Hora','$Correo','$Telefono','$Despacho','$Nacionalidad','$Fecha_de_Registro')";
            $resultado=$conexionM->query ($query);
    
            if($resultado){
                echo '<script> alert ("LOS REGISTROS SE HAN GUARDADO EXITOSAMENTE.") </script>';
                echo "<script>location.href='../registro.php'</script>";
            }else{
                echo "<script>if(alert('LOS REGISTROS NO SE GUARDARON')){ 
                javascript:history.back();} 
                else{ javascript:history.back();}</script>";  
            }
            
    
        }