Si estás en la etapa de desarrollo no deberías tener que mover `DEBUG` a `False` a menos que ya tengas configurado un Web Server localmente tipo Nginx o Apache para servir tus archivos estáticos.

Por esta razón es que existe toda una entrada en la documentación para [servir archivos estáticos durante el desarrollo](https://docs.djangoproject.com/en/dev/howto/static-files/#serving-static-files-during-development).

El problema por el que no puedes ver la página `404.html` o `500.html` es que Django está preparado para mostrarte los errores en modo de depuración (`DEBUG=True`) para ayudarte a encontrar errores en tu proyecto y mostrarte el `URLconf` en el caso de un `404`. Cuando ocurre un `404` Django llama a la función [page_not_found()](https://docs.djangoproject.com/en/dev/ref/views/#the-404-page-not-found-view), cuando ocurre un `500` Django llama a la función [server_error()](https://docs.djangoproject.com/en/dev/ref/views/#the-500-server-error-view).

En tu caso, estás reemplazando el [`handler404`](https://docs.djangoproject.com/en/dev/ref/urls/#handler404) para que, en vez de llamar a `page_not_found()`, llame a tu propia función:

    def handler404(request):
        return render(request, 'error/404.html')

Para que realmente esto funcione no basta con crear la función en tu `views.py`, también debes decirle a Django que use este handler en tu `urls.py`:

    handler404 = 'views.handler404'

Pero, incluso habiendo hecho esto, Django te seguirá mostrando la página de depuración ya que te encuentras en `DEBUG=True`, lo que puedes intentar es modificar tu `urls.py` para poder rutearlo manualmente (solo en desarrollo):

    if settings.DEBUG:
        urlpatterns += [
            url(r'^404/$', 'views.handler404'),
            url(r'^500/$', 'views.handler500'), # Si la tuvieras
        ]

De esta forma, podrías ingresar en tu explorador URLs como:

- http://127.0.0.1:8000/404/
- http://127.0.0.1:8000/500/

Y con esto podrías ver como van quedando tus templates.