He encontrado una solución a tu problema en SO en inglés en la siguiente [respuesta][1]

en la que se utiliza la siguiente expresión regular, en la que hace el split en la coma sólo si esa coma tiene cero, o un número par de comillas por delante

    ,(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)

A continuación te pongo un pequeño código java para probar dicha expresión

    String line = "1234,\"Calle Jaime III, 34\", 67,3,U";
    String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1);
    for(String t : tokens) {
        System.out.println("> "+t);
    }

Mostrando por pantalla lo siguiente:

> 1234

> "Calle Jaime III, 34"

>  67

> 3

> U

Por otra parte he hecho la prueba de la expresión regular con los datos que has puesto en una página llamada https://regex101.com y funciona correctamente como puedes observar en la siguiente [página][2]

Si además quieres quitar las comillas y la coma puedes hacer lo siguiente:

    String line = "1234,\"Calle Jaime III, 34\", 67,3,U";
    String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1);
    for(String t : tokens) {
        t = t.replace(",","");
        t = t.replace("\"", "");
        System.out.println("> "+t);
    }

para que quede exactamente como los datos que quieres obtener.

  [1]: https://stackoverflow.com/a/1757107/3683321
  [2]: https://regex101.com/r/CvSptX/1