Lo mejor en este caso es sobrescribir el método `onTouchEvent()`, al tocar el `Fragment` detecta las coordenadas mediante un `Rect`:

              Rect r = new Rect(0, 0, 0, 0);
                currentFragment.getView().getHitRect(r);
                boolean  intersects = r.contains((int) event.getX(), (int) event.getY());

y esto determinará si estas tocando fuera del `Fragment` para proceder a eliminarlo.

Este sería un ejemplo:


    @Override
    public boolean onTouchEvent (MotionEvent event) {
        
        if (event.getAction () == MotionEvent.ACTION_DOWN) {

                Rect r = new Rect(0, 0, 0, 0);
                currentFragment.getView().getHitRect(r);
                boolean  intersects = r.contains((int) event.getX(), (int) event.getY());

            if (!intersects) {
                Log.d(TAG, "Pressing INSIDE the Fragment.\nRemoving Fragment!!!");
                FragmentTransaction fragmentTransaction;
                fragmentTransaction = fragmentManager.beginTransaction();
                fragmentTransaction.remove(currentFragment).commit();

                return true;
            }
        }
        return super.onTouchEvent (event);
    }