como dice lxndr-rl
Primero debes tener instalado el gestor de paquetes pip, esto lo puedes hacer con la siguiente instrucción desde cmd:
python -m pip install -U pip
Una vez instalado el gestor de paquetes para Python debes instalar Matplotlib con la siguiente instrucción:
python -m pip install -U matplotlib
Una vez echo esto ya deberías poder importar tu librería sin problemas.
Aquí te dejo el link en caso de que necesites más información:
[Matplotlib 3.x] - https://matplotlib.org/users/installing.html
Saludos.