El código que empleas con HTML y JS está bien, sin embargo este se aplica al momento de cargar la página, lo que siempre se prefiere es que esté en el servidor, si usas javascript, los motores de búsqueda no tendrán buen efecto al momento de encontrar tu página. Si no tienes la disponibilidad de usar PHP o algún tipo de lenguaje de programación del lado del servidor utiliza un framework como [nextjs](https://nextjs.org/)

Si tienes la disponibilidad de usar PHP, crea un archivo que HTML que contenga lo que quieres añadir a cada página (No incluyas `<! DOCTYPE HTML>`), después deberás poner ```<?php require("nombre.html"); ?>``` (Cambia nombre.html con el nombre que le pusiste a el archivo) esto si pondrá todos los contenidos del lado del servidor correctamente.

Ten en cuenta que los archivos PHP no se ejecutan sin un servidor, puedes usar un servidor para generar localhost, un programa muy completo para esto es [laragon](https://laragon.org/)