Seria así (la manera simple y facil):

    >>> proveedor = Proveedor.objects.get(...)
    >>> proveedor.producto_set.all()
    <QuerySet: [...]> # Instancias relacionadas y que se van a eliminar
    >>> proovedor.delete() # Se elimina el proveedor y las instancias relacionadas (productos)

Por otra parte si quieres lograr lo que hace Django al eliminar un objeto (la vista `DeleteView` de Django en el admin), que es listar **todos los objetos relacionados y a su ves los objetos relacionados con estos y así sucesivamente**, que se eliminaran también al eliminar dicho objeto. Pues seria así:

    >>> from django.db.models.deletion import Collector
    >>> collector = Collector(using="default")
    >>> collector.collect([Proveedor.objects.get(...)])
    >>> collector.data
    OrderedDict([...])

Hay varias maneras de hacerlo, pero según leí de esta manera era la mas "segura" y efectiva de obtener **todas** las relaciones, ademas de que es la que usa Django.

Te adjunto un enlace a una pregunta, donde encontraras las otras alternativas de lograrlo:

- [**Get all related Django model objects**](https://stackoverflow.com/questions/2233883/get-all-related-django-model-objects)

Espero haberte ayudado.