Considera utilizar el siguiente código en la clase program:
var builder = WebApplication.CreateBuilder(new WebApplicationOptions
{
Args = args,
WebRootPath = "D:\\"
});
Esto añade d:\ al proyecto. puedes usar ese webrootpath para indicarle ha que directorios quieres tener acceso.
También puedes usar:
app.UseStaticFiles(new StaticFileOptions
{
FileProvider = new PhysicalFileProvider("D:\\") // Añadimos el directorio D:\ para servir archivos estaticos.
});
más info: statics files asp.net core
Echa un vistazo quizas te sirva.