Usando esta expresión regular `/\[[a-zA-Z]+\]/g`:

 * `\[` - Corchete de apertura
 * `[a-zA-Z]+` - Una o más letras, minúsculas o mayúsculas
 * `\]` - Corchete de cierre
 * El modificador `g` es para buscar en toda la cadena, si se omite, solo va a encontrar una

Con [.matchAll()](https://developer.mozilla.org/es/docs/Web/JavaScript/Reference/Global_Objects/String/matchAll) obtienes todas las coincidencias. Recorres cada coincidencia para verificar si [existe en el objeto](https://developer.mozilla.org/es/docs/Web/JavaScript/Reference/Global_Objects/Object/hasOwnProperty) y asignar el valor de remplazo.

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    function template(str, obj = {}) {
        // Crear expresión regular
        let regEx = /\[[a-zA-Z]+\]/g;
        // Obtener todas las coincidencias en un arreglo
        let matches = [...str.matchAll(regEx)];
        // Recorrer coincidencias
        matches.forEach(match => {
            // Cada coincidencia es un arreglo con una cadena. Ej ["[nombre]"]
            // Tomar elemento y eliminar corchetes
            let property = match[0].substr(1, match[0].length - 2);
            // Obtener valor a asignar si existe en el objeto, de lo contrario, undefined
            let value = (obj.hasOwnProperty(property)) ? obj[property] : 'undefined';
            // Aplicar remplazo para esta coincidencia
            str = str.replace(`[${property}]`, value);
        });
        return str;
    }

    console.log(template("Hola [nombre]", { nombre: "German" }));
    console.log(template("Hola [nombre], tu saldo es [saldo]", { nombre: "German", saldo: 12000 }));
    console.log(template("Hola mundo", {}));
    console.log(template("Hola [nombre]", {}));


<!-- end snippet -->