No existe una forma *completamente* segura de hacerlo. Sin embargo, se puede usar el valor que envía el navegador en el encabezado [HTTP Referer][1]. De esta forma, sólo permitirías el acceso al MP3 si es a través de un link de tu página:

<!-- language: lang-python -->

    RewriteEngine on

    RewriteCond %{HTTP_REFERER} !^https?://localhost(?:/|$) [NC]
    RewriteCond %{HTTP_REFERER} !^https?://url\.detuweb\.com/ [NC]
    RewriteRule \.mp3$ - [NC,F]

- Claro que un usuario con ganas de quebrarlo, podría hacerlo simulando el Referer.
- El flag [`[F]`][2] especifica que se le devuelva un `403 Forbidden`.
- Si se quiere un 404 en vez de un 403, hay que cambiarlo por `[R=404]`.
- O se puede redireccionar a otra página con `RewriteRule \.mp3$ home.html [NC,R]`

<br>

> **Otra forma**, más sencilla (con menos control), con los mismos
> resultados y limitaciones, pero que funciona sin `mod_rewrite` es
> configurar una variable de entorno si coincide el Referer, y exigir
> que esté seteada para acceder a una carpeta:
> 
>     SetEnvIfNoCase Referer ^https?://url\.detuweb\.com(?:/|$) local_referal
>     <Directory "/web/images">
>         Require env local_referal
>     </Directory>
> 
> O, lo mismo pero por tipo de archivos:
> 
>     SetEnvIfNoCase Referer ^https?://url\.detuweb\.com(?:/|$) local_referal
>     <FilesMatch "\.(gif|jpe?g)">
>         Require env local_referal
>     </FilesMatch>
> 
> O se pueden anidar diferentes contenedores como `<VirtualHost>`,
> `<Directory>`, `<FilesMatch>`, u otros.

<br>

Algunos navegadores, en algunas circunstancias (especialmente mobile, y sobre todo en etiquetas multimedia como `<video>`), no envían el Referer y hay que forzarlo cambiando la política con la [etiqueta meta referrer][3] dentro del `<head>` de la página:

    <meta name="referrer" content="unsafe-URL">

<br>

Si quisieras agregar una capa más de seguridad para controlar el acceso a los archivos, sería validando por usuario, por ejemplo manejando sesiones.


  [1]: https://es.wikipedia.org/wiki/Referer_(Cabecera_HTTP)
  [2]: https://httpd.apache.org/docs/current/rewrite/flags.html#flag_f
  [3]: https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#Attributes