No existe una forma *completamente* segura de hacerlo. Sin embargo, podrías valerte del valor que envía el navegador en el encabezado [HTTP Referer][1]. De esta forma, sólo permitirías el acceso al MP3 si es a través de un link de tu página:

    RewriteEngine on

    RewriteCond %{HTTP_REFERER} !^http://localhost(?:/|$) [NC]
    RewriteCond %{HTTP_REFERER} !^http://url\.detuweb\.com(?:/|$) [NC]
    RewriteRule \.mp3$ - [F]

- Claro que un usuario con ganas de quebrarlo, podría hacerlo simulando el Referer.

<br>
Si quisieras agregar una capa más de seguridad, sería validando por usuario, por ejemplo manejando sesiones.


  [1]: https://es.wikipedia.org/wiki/Referer_(Cabecera_HTTP)