No existe una forma completamente segura de hacerlo. Sin embargo, podrías valerte del valor que envía el navegador en el encabezado HTTP Referer. De esta forma, sólo permitirías el acceso al MP3 si es a través de un link de tu página:
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^http://localhost(?:/|$) [NC]
RewriteCond %{HTTP_REFERER} !^http://url\.detuweb\.com/ [NC]
RewriteRule \.mp3$ - [F]
- Claro que un usuario con ganas de quebrarlo, podría hacerlo simulando el Referer.
Si quisieras agregar una capa más de seguridad, sería validando por usuario, por ejemplo manejando sesiones.