Para especificar el carácter lo más simple y legible es que uses literales de cadena unicode. Usa UTF-8 por ejemplo como codificación para el script y recuerda especificar al inicio del script la codificación del código fuente al intérprete.
Una cosa muy importante a tener en cuenta es que la fuente usada por defecto por Matplotlib para las etiquetas tiene que soportar estos caracteres. Si en tu caso esto no ocurre (mostrara el típico carácter de reemplazo, por ejemplo □
en su lugar) especifica una fuente disponible en el sistema que si tenga soporte para ese conjunto de caracteres:
# -*- coding: utf-8 -*-
from matplotlib import rcParams
import matplotlib.pyplot as plt
import numpy as np
import scipy.stats as st
rcParams['font.family'] = 'sans-serif'
rcParams['font.sans-serif'] = ['DejaVu Sans', 'Tahoma']
mu, sigma = 0, 1.0 # media y desvio estandar
datos = np.random.normal(mu, sigma, 10000) #creando muestra de datos
x = np.linspace(-4, 4, num=1000)
y = st.norm.pdf(x, 0, 1)
plt.plot(x, y, 'r--', label=(u"μ={}, σ²={}".format(mu, sigma)))
plt.legend(loc="upper right")
plt.show()
Para mostrar expresiones matemáticas más complejas recordar que Matplotlib permite el uso de LaTeX.