Lo que pides es muy sencillo, y estás muy cerca de la respuesta de hecho, el `BitmapImage` es mejor pasarlo a `ImageBrush` para mostrarlo en pantalla, pero te haré el ejemplo completo, acá voy a cargar una foto y la pondré como fondo en un `Rectangle` llamando **rt_foto**:

Para cargar la imagen:

    private void CargarButtonClick(object sender, RoutedEventArgs e)
    {
    	OpenFileDialog _dialog = new OpenFileDialog();
    	string filtro = "Archivo  (*.png)|*.png";
    	_dialog.Filter = filtro;
    	_dialog.Multiselect = false;
    	if (_dialog.ShowDialog() == true)
    	{
    		rt_foto.Fill = ToImageBrush(_dialog.FileName);
    	}
    }

Vas a necesitar este metodo:

    /// <summary>
    /// Convierte una ruta en disco a ImageBrush
    /// </summary>
    /// <param name="path">Ruta del archivo</param>
    /// <returns>ImageBrush</returns>
    public static ImageBrush ToImageBrush(this string path)
    {
    	System.Windows.Controls.Image image = new System.Windows.Controls.Image();
    	BitmapImage bitmapImage = new BitmapImage();
    	bitmapImage.BeginInit();
    	bitmapImage.UriSource = new Uri(path);
    	bitmapImage.EndInit();
    	image.Source = (ImageSource)bitmapImage;
    	return new ImageBrush()
    	{
    		ImageSource = (ImageSource)bitmapImage
    	};
    }

Puedes usarlo de forma no estática sacando el `static` y el `this` del nombre del método.
Y finalmente para rotar la imagen que estás usando:

    private void RotarButtonClick(object sender, RoutedEventArgs e)
    {
    	RotateTransform aRotateTransform = new RotateTransform();
    	aRotateTransform.CenterX = 0.5;
    	aRotateTransform.CenterY = 0.5;
    	aRotateTransform.Angle = 90;
    	
    	rt_foto.Fill.RelativeTransform = aRotateTransform;
    	
    }


Opcionalmente puedes refactorizar el último método para que te sirva para rotar otras imágenes y no solo la del `Rectangle` o también en vez de ponerle que rote 90 grados lo puedes pasar por parámetro para que rote en otros ángulos, quedaría algo así:

    private void RotarButtonClick(object sender, RoutedEventArgs e)
    {
    	Rotar(rt_foto, 90);
    	
    }
    
    private void Rotar(Rectangle rect, double angle)
    {
    	RotateTransform aRotateTransform = new RotateTransform();
    	aRotateTransform.CenterX = 0.5;
    	aRotateTransform.CenterY = 0.5;
    	aRotateTransform.Angle = angle;
    	
    	rect.Fill.RelativeTransform = aRotateTransform;
    	
    }

Espero te sirva, yo no uso nunca el control `Image` porque es muy problemático, prefiero el `Rectangle`.. pero eso ya es cosa de cada cual.

Un saludo.

-----

Agrego:

Para usar esto en Image en vez de Rectangle, el control se llamará img_foto

Para cargar la foto:

    private void Button_Click(object sender, RoutedEventArgs e)
    {
    	OpenFileDialog _dialog = new OpenFileDialog();
    	string filtro = "Archivo  (*.png)|*.png";
    	_dialog.Filter = filtro;
    	_dialog.Multiselect = false;
    	if (_dialog.ShowDialog() == true)
    	{
    		img_foto.Source = ToImageSource(_dialog.FileName);
    	}
    }
    
    public System.Windows.Media.Imaging.BitmapImage ToImageSource(string path)
    {
    	System.Windows.Media.Imaging.BitmapImage _bitmap = new System.Windows.Media.Imaging.BitmapImage();
    	_bitmap.BeginInit();
    	_bitmap.UriSource = new Uri(path);
    	_bitmap.EndInit();
    	return _bitmap;
    }

Y para rotarlo haz este método y le envias el control por parámetro:

    private void RotarImagen(Image control, Rotation value)
    {
    	var biOriginal = (BitmapImage)control.Source;
    	
    	var biRotated = new BitmapImage();
    	biRotated.BeginInit();
    	biRotated.UriSource = biOriginal.UriSource;
    	biRotated.Rotation = value;
    	biRotated.EndInit();
    	
    	control.Source = biRotated;
    }

Espero que ahora te sirva..
Bye!