Encontré una posible solución: 
Es crear una clase que extiende de JMenuBar

    public class LaBarra extends JMenuBar {
    
        private JMenu archivo;
        private JMenuItem salir;
    
        public LaBarra() {
            archivo = new JMenu("Archivo");
            salir = new JMenuItem("Salir");
            salir.addActionListener(new ActionListener() {
                @Override
                public void actionPerformed(ActionEvent ae) {
                    System.exit(0);//Solo para que cierre
                }
            });
    
            archivo.add(salir);
            add(archivo);
        }
    }

Y cada que abre el JDialog se crea una nueva clase LaBarra

    public class EjemploJmenuBar extends JFrame {
    
        private LaBarra laBarra;
        private JDialog ventana;
        private JButton lanzar;
    
        public EjemploJmenuBar() throws HeadlessException {
            setSize(500, 500);//Tamaño del JFrame
            setDefaultCloseOperation(3); 
            setLocationRelativeTo(null); //Centra la ventana
            setLayout(new BorderLayout()); 
    
            laBarra = new LaBarra();
    
            lanzar = new JButton("Lanzar");
            lanzar.addActionListener(new ActionListener() {
                @Override
                public void actionPerformed(ActionEvent ae) {
                    ventana = new JDialog();
                    ventana.setSize(300, 300);
                    ventana.setLocationRelativeTo(null);
                    ventana.setLayout(new BorderLayout());
                    LaBarra aux = new LaBarra();//Creamos una nueva
                    ventana.add(aux, BorderLayout.NORTH);
                    ventana.setVisible(true);
                }
            });
    
            add(laBarra, BorderLayout.NORTH);
            add(lanzar, BorderLayout.SOUTH);
            setVisible(true);
        }

        public static void main(String[] args) {
            EjemploJmenuBar e = new EjemploJmenuBar();
        }
    
    }


La verdad me costó, me encantó xD