Para gestionar los errores, retornos vacíos, etc, yo te recomiendo que uses componentes separados que muestres/ocultes dependiendo de la ocasión. En este caso en concreto es útil porque puedes incorporar un botón "reintentar" que vuelva a intentar cargar la página web de nuevo. Para tu caso en el que solo quieres mostrar un mensaje / imagen propia:
-En tu layout .xml crea un textview con tu mensaje personalizado (si es una imagen, usa el componente Imageview). Pon el componente con visibility = "gone"
para que se encuentre oculto hasta que a ti te interese mostrarlo:
<TextView
android:id="@+id/lblError"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:gravity="center"
android:visibility="gone"
android:text="Error de conexión"/>
-Ya en tu actividad, en caso de que se produzca el error de conexión, oculta el webview y muestra el textview que tenias oculto.
webView.setVisibility(View.GONE);
lblError.setVisibility(View.VISIBLE);
Así tendrás el mensaje, imagen o componente que desees en caso de error. Cuando quieras mostrar el webview de nuevo solo tienes que hacer el paso contrario, mostrando el webview y ocultar de nuevo el textview de error.