Si evitas de tener referencias al JFrame el GC
(garbage collect) se preocupa de eso para ti. Si lo quieres hacer más fácil para el GC
de hacerlo para ti, evita referencias bidireccionales o usa WeakReference
donde conviene.
La maquina virtual corre el gc
cada vez en tanto, se nota cuando sacas un perfil de tu uso de memoria.
Si quieres comprobar si el GC
puede limpiar tu JFrame
despues del cierre, puedes llamar a System.gc()
después del cierre y ver si algo cambia en el uso de memoria.
Si necesitas más datos sobre que esta pasando en tu maquina virtual, puedes usar por ejemplo jvisualvm. En este enlace sobre afinamiento de gc encuentras más ayuda sobre el tema (que es un poco amplio).