Eso que pones en tu pregunta es un fragmento del flujo donde un sitio web te pide permiso para enviar notificaciones.

Cuando otorgas ese permiso, el sitio puede enviarte mensajes usando Notifications API. No es posible hacer un demo con los snippets de stackoverflow que residen en otro subdominio, pero si pones esto en la consola:
Notification.requestPermission().then(result=>{
result==='granted' && setTimeout(()=> new Notification(
'Hay preguntas nuevas'
),2000);
});
Lo verías funcionando. Lo importante en realidad es esto:
¿Seria posible enviar notificación a los usuarios que permitieron las
notificaciones sin necesidad de estar en la pagina?
Sí es posible, siempre que el usuario haya dado su autorización para recibir notificaciones.
Tal como en el browser mismo el resultado del diálogo de autorización es un texto ['granted', 'denied', 'default'], pero en el contexto de un ServiceWorker, esa autorización puede usarse para intercambiar un dentificador único de dispositivo con el que podrá notificarte de ahí en adelante. Digamos que es como si le pasaras un "token".
Aunque es perfectamente posible que un sitio cualquiera gestione sus propias notificaciones (dado que tenga https y un serviceworker), lo habitual es que el "token" se use para dejar al usuario inscrito en un servicio distribuido (ej: Firebase Cloud Messaging, OneSignal, Pusher, Clevertap).
Cuando el sitio web quiere notificar a sus visitantes más fieles lo que hace no es enviar un mensaje directo a cada suscriptor, sino que triangula en el proveedor de mensajería cloud. En el escenario más cómodo, sólo mandas un mensaje donde el destinatario sea cualquier suscriptor. En un caso más específico la notificación puede dirigirse a un identificador de dispositivo en particular.
En todos esos escenarios el proveedor se encarga de insistir (cuando no logra enviar el mensaje a la primera) y aporta cierto valor agregado. Por ejemplo: llevar un recuento de envíos vs activaciones, o bien un recuento de absolutamente nada como en iOS.