Si evitas de tener referencias al JFrame el `GC` (garbage collect) se preocupa de eso para ti. Si lo quieres hacer más fácil para el `GC` de hacerlo para ti, evita referencias bidireccionales o usa `WeakReference` donde conviene.

La maquina virtual corre el `gc` cada vez en tanto, se nota cuando sacas un perfil de tu uso de memoria.
Si quieres comprobar si el `GC` **puede** limpiar tu `JFrame` despues del cierre, puedes llamar a `System.gc()` después del cierre y ver si algo cambia en el uso de memoria.