Esto ocurre porque los algunos elementos _inline_ no pueden tener transformaciones, como se especifica en el [estándar HTML para la definición de `transform`][1] (traducción mía):

>**Elemento transformable**
>
> Un elemento transformable es un elemento en una de estas dos categorías:
>
>- Todos los elementos cuyo diseño está gobernado por el modelo de caja de CSS con la excepción de elementos no reemplazables de tipo inline, table-column y table-column-group,
>
>- Todos los  elementos pintados de SVG, el elemento clipPath y lo elementos de SVG renderizables con la excepción de cualquier descendiente de elementos de texto.

Estás intentado aplicar un `transform` a un elemento `a` que es _inline_ por defecto y por lo tanto no transformable. Añádele un `display: inline-block` para que se muestre en línea pero como bloque y de ese modo ya será transformable:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-css -->

    a:hover {
      color: green;
      transition: all 0.5s;
      transform: scale(1.15);
      display: inline-block;
    }

<!-- language: lang-html -->

    <div class="Regresar">
      <span style="position: absolute; top:300px; left:580px"> 
         <h4><a href="index.html">Regresar</a></h4> 
      </span>
    </div>

<!-- end snippet -->


  [1]: https://drafts.csswg.org/css-transforms-1/#transformable-element